メインコンテンツへスキップ
見出し画像

家のAI、モデルは用途で替える|速さ・日本語・決まった形、3台で見えた線引き

    M7につないだ家のAI用のグラフィックボード(メモリ16GB)で、
    30Bクラスのモデルを動かしてみた。

    質問を1つ投げて、
    300秒待った。

    それでも答えが終わらなかった。

    私は家のAIを3台の機械で動かしていて、
    この失敗をきっかけに、
    モデルを用途ごとに替えるようにした。

    グラフィックボードのメモリとは、
    AIを動かす部品が使うメモリのことだ。

    ここに収まる大きさのモデルしか、
    速くは動かない。

    • メモリ16GBの機械なら、大量の要約や分類は速い gpt-oss:20b、答えの形を決めて返してもらう用事は qwen3:14b

    • メモリ48GBほどの機械なら、人に読ませる日本語の文章は Gemma 4 31B か Qwen3 32B

    • 載るかどうかを先に見ないと、私のように待ちぼうけになる

    普段自分が話しかけるAIは、
    今も中型のモデル1つのままだ。

    毎日自動で動く仕組みだけ、
    私の場合は用途でモデルを替えた。



    30Bが載らなかったのは、メモリの計算が甘かったから

    モデルの名前の後ろに付く20Bや32Bは、
    モデルの大きさを表す数字だ。

    大きいほど賢くなりやすいが、
    その分メモリを食う。

    3台のうち、
    デスクトップはRTX 5060 Tiで16GB、
    NucBox M7は外付けのRTX 5070 Tiで16GB、
    EVO-X2は本体のメモリから48GBを回している。

    M7で動かした30Bクラスの qwen3:30b-a3b は、
    モデル本体だけで約18.6GBある。

    動かすための作業分を足すと約22GBになり、
    グラフィックボードには入らない。

    入らなかった分は、
    普通のメモリとCPUが動かすことになる。

    グラフィックボードに比べると桁違いに遅いので、
    300秒たっても答えが出なかった。

    gpt-oss:20b と qwen3:14b は、
    どちらも16GBに収まる。

    目安は、
    16GBなら20Bくらいまで、
    48GBあれば32Bに余裕がある。

    数字だけ見て大きいモデルを選ぶと、
    動いたのに使えない、
    という状態になりやすい。


    決まった形で答えさせたい時は、gpt-ossを使わない

    意外だったのは、
    速いはずのgpt-oss:20bが、
    ある用事で使い物にならなかったことだ。

    その用事は、
    アプリの画面に温度・湿度・一言を決まった欄に並べることだった。

    欄に並べるには、
    AIに項目名と値の組という決まった書式で返してもらう必要がある。

    私は、
    温湿度と睡眠の記録から朝の一言を作る仕組みでこれを使っていた。

    gpt-oss:20bにこの書式で頼むと、
    返事が空になったり、
    途中で切れたりした。

    デスクトップとEVO-X2の両方で同じことが起きたので、
    機械のせいではなさそうだ。

    同じ仕組みでM7の qwen3:14b に替えたら、
    答えは崩れなかった。

    この仕組み自体は、
    今は止めている。

    今の決まりとしては、
    決まった形の答えはEVO-X2のGemma 4 31Bを主にして、
    qwen3:14bを予備にしている。


    大量の要約や分類には、速いgpt-oss:20b

    ニュースの要約や記事の分類のように、
    同じ作業を何十回も繰り返す用事には、
    gpt-oss:20b を使っている。

    何十回も繰り返す用事では、
    1回あたりの速さがそのまま全体の待ち時間になる。

    M7のRTX 5070 Tiで動かすと、
    3台の中で一番速かった。

    1秒あたりに出せる言葉の量(トークン)の目安は148トークンで、
    同じM7のqwen3:14bは78トークンだった。

    数字で見ると、
    qwen3:14bの約2倍の速さだ。

    それでも毎朝のニュースまとめは、
    M7ではなくEVO-X2のgpt-oss:20bで動かしている。

    少し大きい別の版を試したらM7の16GBに載り切らず遅くなったので、
    メモリに余裕のあるEVO-X2に移した。


    日本語の質が要る時は、32B前後を使う

    人に読ませる文章や助言を書かせる時は、
    速さより日本語の自然さを見て選ぶ。

    この用事は、
    EVO-X2で動かしている。

    M7のような16GBの機械には、
    この大きさのモデルは載らない。

    日本語のアドバイスを書かせて比べたところ、
    試した中で一番良かったのは Gemma 4の31B で、
    実際の質問1回の待ち時間は30秒前後。

    Qwen3の32B も日本語は綺麗だが、
    実際の質問1回で45〜50秒ほどかかった。

    どちらもgpt-oss:20bよりだいぶ遅いが、
    1日に何回も使わない用事なら気にならない。


    モデルに合わせて、機械を選ぶ

    モデルを動かすには、
    そのモデルが収まるメモリを持った機械が要る。

    動かしたいモデルが16GBに収まるなら、
    M7のようにOCuLinkの口があるミニPCに、
    グラフィックボードを入れた外付けケース(AOOSTAR AG01)をつなぐ形で足りる。

    32Bクラスを本体で動かしたいなら、
    EVO-X2になる。

    後継のEVO-X3も出ている(私は持っていない)。


    この記事で紹介した商品

    ※本記事はAmazonアソシエイト・プログラムを利用しています。
    リンクから購入されると、
    報酬を得る場合があります。

    GMKtec NucBox M7

    外付けのRTX 5070 Tiをつないで、
    速さが要る用事を動かしている。

    AOOSTAR AG01

    グラフィックボードを入れて、
    M7につなぐための外付けケース。

    GMKtec EVO-X2

    私のは96GBモデル(販売終了している)のためAI側に48GBを割り当ていて、
    日本語の質が要る用事と大きめのモデルを動かしている。
    紹介リンクは、128GBモデルで最大96GBを割り当てることができる。

    GMKtec EVO-X3

    EVO-X2の後継。

    外付けのグラフィックボードをつなぐOCuLinkの口が付き、
    メモリは128GBだけになった。




    ここまで読んでくれた人、
    ありがとうございます。

    フォローしてもらえると嬉しいです!

     
     
    本業はシステムの仕事で、設備・操業・業務系の設計、開発、マネジメントをしています。 GMKtecのミニPC2台を家で24時間動かし、AIと写真保存に使っています。 選び方、設定の手順、電気代や温度の実測を毎日1本。 日々の小ネタとAIのニュースはXで流しています。

    あなたへのおすすめ