
GTX 1070のサブPC、35Bの壁
これの続き
速ければいいってものでもないらしい
先日、サブPCで動かしているローカルAIの日記システムが、ひとまず実用できるところまで完成しました。
そこで次に考えたのが、もっといいモデルはないのか、ということ。
現在使っているのは、Qwen3-30B-A3B-Instruct-2507です。
ずいぶん長い名前ですが、要するに30B級のローカルLLMです。
これをGTX 1070という、なかなか年季の入ったグラフィックボードで動かしています。
動作速度はだいたい毎秒18〜19トークン。
日常会話には十分ですが、世の中にはもっと速いモデルも、新しいモデルもあります。
それなら一度、まとめて比較してみようじゃないかと。
そんなわけで、Codexに試験を組んでもらいました。
今回の試験環境
サブPCの構成はこちら。
CPU:Core i5-12400F
GPU:GeForce GTX 1070 8GB
メモリ:32GB
推論環境:LM Studio
このPCは日記AIのサーバーとして使っていて、普段はスマートフォンなどからアクセスしています。
今回の目的は、日記や記憶の管理を安心して任せられるかどうか。
これを基準にしました。
例えば、昨日食べたものを勝手に作られたら困ります。
AIが想像したことを、本人が実際に話した事実として記録されても困ります。
古い情報を持ち出して、最新の発言を無視されるのも困ります。
普通の雑談では見逃せる小さな間違いが、日記システムでは積み重なって大きな問題になります。
7モデルを比較してみた
今回の結果がこちらです。
Qwen3-30B-A3B 約18.7 tok/s 今回は最も安定
GPT-OSS-20B 約21.0 tok/s 古い記録を優先する誤答
LFM2.5-8B-A1B 約91.8 tok/s 高速だが日時やJSONで誤り
LFM2.5-24B-A2B 約27.3 tok/s 時系列処理に課題
Huihui Abliterated 30B 約16.0 tok/s 存在しない出来事を創作
Qwen3.5-35B-A3B 約12.8 tok/s メモリ制約で部分試験のみ
Qwen3.6-35B-A3B 約13.1 tok/s メモリ制約で部分試験のみ
※数値は各条件での観測値です。主に雑談3回の中央値で、思考モードや量子化、実行条件が異なるため、単純な性能ランキングではありません。35B系は試験途中で停止しています。
追試したけどどうにもならなかった
今回の本試験は合計91応答。
さらに別条件の予備試験18応答もあります。
なかなか大がかりなことになってしまいました。
毎秒91トークンの誘惑
まず驚いたのがLFM2.5-8Bです。
91.8 tok/s。
現在のQwen3と比べると約5倍の速度です。
いや、速い。
こうなると、もうこれでいいんじゃないかと思ってしまいます。
ところが、日付計算を間違えたり、引用を取り違えたり、JSONの内容に誤りが出たりしました。
もちろん、これだけで使えないモデルというわけではありません。
軽い補助作業や、間違いをチェックできる処理なら十分に使い道がありそうです。
ただし、日記の確定記録を任せるには不安が残ります。
速いAIが、速く間違える。
なかなか悩ましいお話です。
無検閲モデルも試してみた
次に試したのがHuihui Abliterated版です。
これは通常のモデルから、拒否応答などに関係する振る舞いを変更したものです。
余計な拒否や説教が減り、会話の自由度が上がるなら、日常的に使うAIとしては面白いのではないか。
そう思って比較してみました。
ところが、今回の日記用テストでは困った結果になりました。
本人が話していない発言や食事を勝手に作ってしまったのです。
さらに、AI自身の推測を確定メモリにしてよいという回答までありました。
極めつけは、JSONの数量テスト。
実際には「2個」だったものを「99個」と回答。
いや、どこから出てきたんだ99個。
食料の在庫管理まで任せているので、こんなことをされると突然わが家が業務用倉庫になってしまいます。
なお、今回の問題が無検閲化そのものによるものなのか、モデルや量子化などの違いによるものなのかは断定できません。
ただ、少なくとも今回の条件では日記用として採用できない、という判断になりました。
自由に話せることと、自由に事実を作っていいことは、別のお話です。
新しい35Bモデルにはメモリが足りなかった
さらにQwen3.5とQwen3.6の35B級も試しました。
こちらはモデルの品質以前に、実行環境の問題が出ました。
Qwen3.5は思考部分の生成までは進んだものの、本文を出せないまま停止。
Qwen3.6は思考モードをOFFにして5応答まで確認でき、日時や新旧情報の扱いも正しくできていました。
ところが、その先で停止。
原因として大きかったのが、Windowsの空きコミット容量です。
物理メモリが多少空いていても、OSが追加のメモリ使用を保証できる余裕がなければ、安定して動かせません。
今回はその余裕が足りませんでした。
つまり35B級は、不合格というより試験を完走できなかったという状態です。
これについては、メモリ64GBのメインPCで改めて検証する予定です。
結局、いつものQwen3に戻ってきた
ここまで比較して、最終的に日記AIの本番モデルとして残ったのは、最初から使っていたQwen3-30B-A3Bでした。
今回の試験では、最新情報と古い記録の区別、不明な情報の扱い、JSONへの出力が比較的安定していました。
もちろん完全無欠というわけではありません。
ただ、現時点ではこれが一番安心して使えそうです。
今回、ひとつ分かったことがあります。
日記AIにとって重要なのは、文章が上手なことや、生成が速いことだけではない。
知らないことを知らないと言えること。
本人が話した事実と、AIの推測を区別できること。
昨日の記録より今日の訂正を優先できること。
そういう、いささか地味な能力が重要なのだと思います。
試験が終わったら、元の生活に帰る
今回の試験では、普段使っている日記AIやデータベースを保護しながらモデルを切り替えました。
試験終了後は現行Qwen3と日記アプリを復元。
一時的な権限やCLIも元に戻し、既存の処理キューも維持しています。
実験のために日常環境を壊してしまっては、本末転倒ですからね。
それにしても、GTX 1070でここまでいろいろ試せるようになったのは面白いことです。
昔ならゲームを動かしていたグラフィックボードが、今では日記を書いたり、記憶を整理したりしているわけです。
世の中、何がどう使われるようになるか分からないものです。
次はメインPCで魔砲を撃つ
今回の35B級モデルは、メモリ不足で評価を終えられませんでした。
そこで次は、RTX 3060 12GBとRAM 64GBを積んだメインPCの出番です。
Qwen3.5、Qwen3.6を改めて試し、その後にはさらに大型のQwen3.8-Flash-Nextも検討しています。
こちらはもはや実用品の選定というより、どこまで動かせるかという趣味の世界です。
もっとも、モデルをあれこれ集めていたら、今度はCドライブの空き容量が赤くなってきました。
メモリが足りない。
VRAMが足りない。
今度はストレージが足りない。
ローカルAIとは、どうやら終わりのない兵站ゲームのようです。
そんなわけで、日記AIの本番モデルはひとまず現状維持。
次の実験に備えつつ、今日も元気にGTX 1070を働かせています。
それではまた。