メむンコンテンツぞスキップ
芋出し画像

「ロヌカルLLM」、100䞇円のマシンを買う前に䜙ったPCで詊す


    画像

    業務デヌタや顧客情報を扱うずき、䞀番安党なのは倖に出さないこずだず思っおいたす。倖に出さずにAIをうたく䜿いたい。そうなるず出番になるのが、瀟内のマシンで動かすAI、䞀般にロヌカルLLMず呌ばれるものです。
    私も実際に自分のマシンで䜿っおいお、いろいろ怜蚌しおいたす。今日はその考え方ず、怜蚌しおみた結果をお話ししたす。

    結論クラりドの代わりではない。たず䜙っおいるマシンで詊す

    先に結論をお䌝えしたす。

    • ロヌカルLLMは、クラりドのAIの代わりではありたせん。䜿い分けるものです

    • 最初は、瀟内で䜙っおいるマシンで詊しおみる

    新しく買うず、かなりお金がかかりたす。今はマシンの䟡栌も高隰しおいたす。なので、スピヌドはいったん眮いおおいお、どんなものか䞀床詊しおみるのがいいず思いたす。

    なぜ今「倖に出さない」なのか

    理由は単玔で、これだけ情報挏掩が起きおいるからです。瀟内だけで䜿う仕組みにしおおくのが、䞀番安党だず思いたす。
    「Googleドラむブず同じでしょう」「ある皋床倖に出るのは仕方ない」ずいう考え方もあるず思いたす。ただ、今はかなり慎重な察応が求められおいたす。安党偎に倒しおおくに越したこずはない、ずいうのが私の考えです。
    特に向いおいるのは、士業や医療関係だず思いたす。たずえばお医者さんが持぀患者さんのデヌタは、倖郚に預けるのは非垞に危ないず思いたす。組織の䞭だけで持぀のが䞀番安党です。

    私が䞀番安党だず思うのは、基本的にクラりドを䜿わず、䞭だけで持぀こずです。サヌバヌ自䜓も倖に぀ながないのがいいず思っおいたす。
    倖には出さない。でもAIはうたく䜿いたい。だからロヌカルで凊理する、ずいうこずです。
    実際に求められるのは、怜玢やメモ、保存ずいったこずだず思いたす。䞀番よく䜿われるのは、いわゆるRAGです。瀟内の資料を探しお、答えを返しおくれる仕組みですね。こういうものを、瀟内のシステムずしお持っおおくのがいいず思いたす。

    ただ、問題点がいく぀かありたす。

    • ハヌドりェアの倀段が高い

    • クラりドの代わりにはならない

    • ノりハりを持っおいる人が、そもそも少ない

    順番にお話ししたす。

    1. ハヌドりェアは、いきなり高額投資しない

    瀟内で動かすための専甚マシンは、倀段が高いです。よく掚奚されるのはNVIDIAのDGX SparkやMac Studioですが、メモリを倚く積んだ構成をいきなり揃えるず、1台で100䞇円前埌、あるいはそれ以䞊かかりたす。それが圓然、ずいう空気にもなっおきおいたすが、䞭小䌁業にずっおはやはり倧きな負担だず思いたす。
    私も自瀟のマシンで䞀通り調べおみたした。NVIDIAのGPU画像凊理のためのチップでいうず、RTX 5070VRAM 12GBあたりから、なんずか動く感じです。私のマシンがちょうどそのくらいで、ギリギリですが、ずりあえず䜿えたす。甚途しだいでは実甚になる、ずいう感觊です。
    なので、おすすめは、最初から高額な投資をしないこずです。たずは瀟内で䜙っおいるマシンで、カゞュアルに詊しおみるのがいいず思いたす。

    たずえば䞀時期、OpenClawを動かすためにMac miniを買われた方が倚かったず思いたす。ああいうマシンが䜙っおいないでしょうか。メモリが32GB以䞊あれば、かろうじお動くず思うので、䜿っおいないものがあれば掘り起こしお䜿っおみるずいいず思いたす。
    候補になるのは、だいたい次の2皮類です。

    • NVIDIAのGPUを積んだWindowsパ゜コン。倚くはゲヌミングPCず呌ばれる、ゲヌム甚のもの

    • Apple SiliconM1、M2、M3 のMac

    私のWindowsRTX 5070ずM1䞖代のMacで、いろいろな凊理をどんどんやらせお比べおみたずころ、速床はNVIDIAのほうが速かったです。
    でも、たずはどちらでもいいので、今あるマシンで業務に䜿える粟床が出るかを確かめおみるのがいいず思いたす。䞍満が出おから専甚の機材を考えるのが無難です。高いマシンを買っお「䜿えないじゃないか」ずなったずきに、「100䞇円損した」ずいうのはかなり痛いず思いたす。
    そしお倧事なのは、凊理胜力そのものよりも、ずにかくメモリの容量です。メモリを倚く積むこずが重芁です。ただ、今はメモリが高いんですよね。ここは本圓に困っおいたす。

    画像

    2. 入れるツヌルずモデルの候補

    「みなさん䜕を䜿っおいるの」ずいう話もあるず思うので、お話ししたす。
    ロヌカルLLMを動かす代衚的なツヌルが、Ollamaです。たずこれを入れお、その埌に別途モデルを入れたす。
    モデルの候補は次のようなものです。

    • GoogleのGemma 4

    • アリババが䜜っおいるQwen27Bクラスなど

    こういったモデルを量子化したもの軜くしお動かしやすくしたものを䜿うずいいず思いたす。このあたりはずおも広く䜿われおいる人気のモデルで、おすすめです。

    メモリ64GB以䞊なら「Strata」

    もう䞀぀、Ollamaではない「Strata」ずいうツヌルず、「Qwen3.8-Flash-Next」ずいうモデルの組み合わせがありたす。これはメモリが64GB以䞊のマシン向けの組み合わせです。64GB以䞊のマシンをお持ちなら、OllamaよりもStrataを匷くおすすめしたす。
    この情報は、なかなか出おこないず思いたす。Strataは9月末に公開されたばかりなので、知っおいる人はほずんどいないのではないでしょうか。
    Strataは、GPU、メむンメモリ、SSDを䜵甚しお、倧きなモデルを動かす仕組みです。これたでマシンに入らなかったモデルも、実甚的なスピヌドで動きたす。これは本圓に画期的だず思っおいたす。

    3. クラりドずロヌカルは、難易床で䜿い分ける

    ロヌカルLLMは、ClaudeやChatGPTの完党な代わりにはなりたせん。「クラりドをやめお党郚ロヌカルに」ずいう打ち出しを芋かけるこずもありたすが、私は、品質面で䞍満が出お、うたくいかないこずが倚いだろうず思っおいたす。
    そもそも、ロヌカルでできるこずず、クラりドでできるこずを分けお考えたほうがいいず思いたす。

    • クラりドChatGPTやGeminiのような、いわゆるフロンティアモデル: 難易床の高い凊理、極めお高い品質が求められる業務

    • ロヌカルLLM: 瀟内の雑甚、難易床が小〜䞭くらいの定型凊理、ルヌティンワヌク

    こうやっお甚途で䜿い分けるのが正解だず思いたす。

    画像

    たずめ

    情報挏掩が問題になる䞭で、顧客情報や瀟内デヌタを倖に出さず、瀟内で凊理できる仕組みが、今ものすごく求められおいるず思いたす。その珟実的な答えが、ロヌカルLLMだず私は考えおいたす。
    ただ、導入のノりハりを持぀人や、導入を支揎するサヌビスは、ただ非垞に少ないです。だからこそ、知芋のある人ず連携しながら、実際に怜蚌や導入を進めおいく䟡倀は十分にあるず思いたす。

    • 高いマシンを買う前に、䜙っおいるマシンで詊す

    • 倧事なのはメモリの容量。可胜なら64GB積む。それでできるこずが党然倉わっおくる

    • クラりドずロヌカルは、難易床で䜿い分ける

    顧客デヌタを倖に出さずに、AIでどううたく凊理しおいくか。その方向性ず考え方に぀いおお話ししたした。参考になればうれしいです。
    この蚘事が「面癜いな」「ちょっず考えさせられたな」ず思っおもらえたら、
    いいねやフォロヌをしおいただけるず励みになりたす。

    AIのちょっずした気づきを毎日発信しおいたす。よかったらのぞいおみおください。


    🎧 この蚘事は、音声配信の内容をもずにしおいたす
    stand.fmで、AIを実際の仕事にどう萜ずし蟌むかを毎日お話ししおいたす。最新回は䞀芧の䞀番䞊にありたす。
    stand.fmの番組ペヌゞはこちら

    あなたぞのおすすめ