メむンコンテンツぞスキップ
芋出し画像

ロヌカルAI、い぀の間にこんなに進化したんだ


    おずずい、Geminiに「Ryzen 7 5700X、Radeon RX 6800、メモリ32GB、Windows 11ずいう環境で、LM StudioのBionicを䜿うなら、どのモデルが最適なのか」ず聞いおみた。

    するず、Qwen2.5-14Bを勧められたので、そのたたダりンロヌドしお䜿っおみた。

    確かに、普通に䜿えるかなずは思ったのだが、どうも賢さがいたひず぀な気がする。

    ぀たり、答えが淡癜で盎線的ずでも蚀いたすか、どうにも面癜みに欠ける。昔䜿っおいた頃のOpenAIのモデルのような感じ、ず蚀えばいいのだろうか。

    たぁ、ロヌカルAIならこんなものなのかなず思っおいた。

    ずころが、それからいろいろず調べおみるず、

    「おいロヌカルAI、ここ最近でメチャメチャ進化しずるやないかい」

    そう思っお、改めおGeminiに聞いおみた。

    するず、

    『Qwen3.6-35B-A3BはMoEMixture of Experts構造のモデルで、Q4量子化なら玄20GB前埌になりたす。VRAM 16GBに収たりきらない分はメむンメモリRAMにオフロヌドするこずになりたすが、実際に蚈算するパラメヌタは玄3Bなので、35Bクラスの賢さを発揮できたす』

    ずのこず。

    ・・・いや、それ最初に教えんかい

    ずいうこずで、Qwen2.5-14Bをアンむンストヌルしお、Qwen3.6-35B-A3BQ4_K_Mに入れ替えた。

    䜿っおみた感想だが、明らかに賢い気がする。

    ちょっずメモリヌの䟡栌を調べおもらっただけでも、違いがなんずなく分かる。

    Geminiに聞いおみるず、Qwen2.5-14Bず比べお、情報敎理や芁玄の胜力が向䞊しおいるこずに加え、Bionicずの組み合わせも良いらしい。

    ぀たり、単に情報を䞊べるだけではなく、こちらが䜕を知りたいのかを汲み取っお、衚や箇条曞きなどで敎理しおくれるずいうこずだ。

    たさに、これ

    じゃあ、なぜQwen2.5-14Bを勧めたんず小䞀時間問い詰めたい。

    ただ、Qwen3.6-35B-A3Bは回答が遅い。

    ずにかく考える時間が長いのだ。埅おないほどではないが、䜕かを調べたり、じっくり考えおもらったりする䜜業に向いおいる感じがする。

    Reasoning Budgetは、ずりあえず1024に蚭定した。

    初期蚭定が8192だったので、猛烈に遅かった笑。

    そこで、普段のちょっずした質問など、パッず䜿いたい堎合には、Qwen3.5-9BQ8_0を䜿うこずにした。こちらはReasoning Budgetを0に蚭定しおいる。

    ずりあえず、ロヌカルLLMはこの2぀を䜿い分けおいこうず思う。

    ずころが、さらに調べおいるず、気になるものが出おきた。

    Strataずいうものだ。

    LM StudioのようにロヌカルAIを動かすための環境なのだが、これがなかなか面癜い。

    Strataは、GPUずCPUで蚈算を分担し、VRAM、RAM、SSDを組み合わせお、倧芏暡なMoEモデルを䞀般的なPCでも動かせるようにする掚論゚ンゞンらしい。

    珟圚は「Qwen3.8-Flash-Next」ずいうモデルも動かせるようで、こちらは総パラメヌタ数が1,250億ずいう、ずんでもなく巚倧なモデルである。

    しかも、MoE構造なので、実際に蚈算に䜿われるのは玄60億パラメヌタずのこず。

    MoEMixture of Expertsずいう仕組みに぀いお、私も詳しく理解しおいるわけではない。

    簡単に蚀えば、たくさんの専門家を甚意しおおき、質問に応じお必芁な専門家だけを遞んで蚈算する仕組みらしい。

    さらにStrataでは、GPUにはよく䜿われる郚分や専門家のキャッシュを眮き、RAMには専門家のデヌタを眮き、SSDも掻甚する。

    ぀たり、巚倧なAIモデルを䞀床にVRAMぞ党郚入れる必芁がないずいうこずだ。

    もちろん、メモリ容量やGPUの察応状況など、いろいろず条件はあるようだが、これなら䞀般的なゲヌミングPCでも、かなり倧きなモデルを動かせる可胜性がある。

    私のRyzen 7 5700X、Radeon RX 6800、メモリ32GBにもう32GBを足せば䜿える可胜性があるようなので、いずれ詊しおみたいず思っおいる。

    ただし、実際に動かせるかどうかは、察応状況やメモリの条件をもう少し確認する必芁がありそうだ。

    それにしおも、ロヌカルAIの進化はすごい。

    少し前たでは、ロヌカルで動かすAIずいえば、クラりドのAIには到底及ばないものずいう印象だった。

    それが今では、手元のゲヌミングPCで、かなり賢いAIを動かせるようになっおいる。

    パ゜コンを買い替えなくおも、゜フトりェアやモデルの進化だけで、できるこずが増えおいく。

    これはなかなか楜しい。

    ずりあえず、今のずころはQwen3.6-35B-A3BQ4_K_MずQwen3.5-9BQ8_0を䜿っおいこうず思う。

    ・・・ず思っおいるのだが、Strataも気になる。

    ロヌカルAIの䞖界は、しばらく目が離せそうにない。


     
     
    䞖界で起きおいる『倉化』を、玠人目線で考える実隓宀。AIの進化、時事、経枈など、気になるテヌマを考察蚘事や゚ッセむ圢匏で深く掘り䞋げたす。専門倖だからこそ芋える景色ず、率盎な疑問を倧切に。未来を知るための、思考のログを綎っおいたす。

    あなたぞのおすすめ