メインコンテンツへスキップ
見出し画像

速さで選ぶのを、やめてみた ― ローカルLLMは「昼・夜・じっくり」の3枠で決めると迷わない

    こんにちは!YaroTechです。

    お盆休みのライトな回が続いていましたが、今日は火曜日。実践寄りの回に戻ります。

    この夏、手元のPCで動かせるAI、いわゆるローカルLLMの新顔が一気に増えました。8月14日にはQwen3.8-27Bのウェイトが公開され、ほかにもMetaのMuse Glimmer、NVIDIAのNemotron 3.5 Lightning、GoogleのGemma 4、DeepSeek V4 Flash、国産のLLM-jp-4まで。ひとつの勝者が決まる感じではなく、明らかに多極化しています。

    こういうニュースを見るたびに私がやっていたのは、「このモデル、うちのPCで快適に動くかな」という探し方でした。速いか遅いか、その一軸だけ。遅かったら「うちでは無理だったな」で終わり。

    でも最近、それはずいぶん贅沢な捨て方だな、と思うようになりました。私が「遅い」と言って捨てていたモデルは、私が起きている時間に使おうとしたから遅かっただけかもしれない。

    そこで今回は、選び方の軸を変えてみます。「速い/遅い」ではなく、「昼・夜・じっくり」の3つの枠。これで考え直したら、手元の4環境にどのクラスを置けばいいかが、かなりスッキリ決まりました。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • ノートPC①: ThinkPad X1 Carbon(Windows 11 Home 25H2 / Core Ultra 7 258V / RAM 32GB)

    • ノートPC②: Surface Laptop(Windows 11 Home 25H2・ARM64 / Snapdragon X Elite / RAM 16GB)

    • デスクトップPC: Windows 11 Pro / Core i9-12900T / RAM 128GB / RTX 3050

    • Raspberry Pi: 15台(クラスター連載を進行中)

    • AI: Claude Desktop(愛称: クロ助)― 公開スペックと手元スペックの突き合わせを担当

    今回は検討・整理の回。出てくる実測値は過去記事で公開済みのものだけです。


    🎯 この記事で得られること

    • 「速い/遅い」の一軸をやめて、用途を3つの枠に分ける考え方

    • 公開モデルのサイズと自分のPCのメモリを引き算するだけの「載る/載らない」見積もり

    • 「遅いから使えない」と切り捨てていたモデルの、もうひとつの使い道


    📊 手元の現在地を、先に確認しておく

    新しい話に進む前に、これまでに実際に確かめた範囲を並べておきます。

    • 7Bクラスなら、日常使いに耐えた。VS Codeのコーディング支援をローカルで回したとき、7Bモデルで14.02 tok/s、コード補完は0.46秒でした

    • 音声で会話するなら、もっと小さい必要があった。X1のなかだけで音声会話を成立させようとしたときの現実解は1.5Bクラス

    • 上限もはっきり見えている。7月公開のKimi K3は実測1.56TB、圧縮しても817GBで、手元のどのマシンにも入りませんでした

    関連記事: ダウンロードできるAIと、動かせるAIは別物だった ― 株価を落とした「Kimi K3」を、公開翌日に触ってみたでは、この「動かせない側」の境界線にぶつかった話を書いています。

    つまり動く下限も、動かない上限も分かっている。分かっていないのは、その間の広い中間地帯の使い分けでした。


    🚀 速さの一軸をやめて、3つの枠に分ける

    昼の枠 ― 私が待っている時間に返ってくること

    対話、下書きの相談、コードの補完。画面の前で待っているので、体感速度がそのまま使い勝手になります。1文字ずつジリジリ出てくるモデルは、性能がどれだけ高くても置けません。基準は自分の実測がそのまま使えて、7Bで14.02 tok/s・補完0.46秒は待てるライン、音声で返事をさせるなら1.5Bまで落とす必要がありました。「賢さより、待たされないこと」の枠です。

    夜の枠 ― 私が寝ている間に終わっていればいいこと

    ここが今回の主題です。記事の下ごしらえ、ログの要約、メモの分類。私が待っている必要がまったくない仕事たちで、tok/sはほとんど意味を失います。1件に3分かかっても、寝ている7〜8時間で回ればいい。昼なら即座に不合格になる速度が、ここでは合格になる。「遅い」を理由にモデルを捨てていた私は、この枠を丸ごと空けたまま放置していたわけです。

    じっくりの枠 ― 1回だけ、いちばん良い答えが欲しいこと

    3つめは単発の重要タスク。公開前の原稿の最終チェック、設計を決める前の相談。何度も回すものではないけれど、間違えられたら困る仕事です。数分待てるので、「速いけど惜しい答え」より「遅いけど正確な答え」を選べます。

    この3枠に分けた瞬間、評価軸が1つだった頃には落ちていたモデルが拾えるようになりました。


    🧩 増えた新モデルを、3枠に当てはめてみる

    この夏に増えた顔ぶれを、手元の4環境に配ってみます。ここから先は公開スペックと自分のRAM/VRAMを引き算しただけの机上の見積もりなので、「動く」ではなく「候補」として書きます。

    Qwen3.8-27B ― X1の候補

    8月14日にウェイトが公開された約27.8Bのdenseモデル。Apache 2.0で、画像と動画の入力にも対応するネイティブマルチモーダルです。コンテキストは262,144トークン(公式にはYaRN拡張で最大1Mと記載、ただし静的YaRNは短い入力で精度が落ちるという注意書きつき)。

    サイズはBF16で約56GB級、4bit級の量子化版で約16〜17GB。手元のメモリと引き算すると、Surface Laptopの16GBには収まりません。X1の32GBなら容量のうえでは載りますが、速度は測っていないので「快適に動く」とは書きません。試す価値のある候補、までです。なおベンチマークの数字(SWE-bench Pro 61.7%など)はAlibabaの自社発表値で、公開直後の時点で独立した再現は確認できていません。

    Muse Glimmer 30B ― X1の本命候補

    Metaが8月中旬に公開したdense 30B、Apache 2.0で画像入力対応。ローカル常駐のエージェント用途に最適化されています。BF16では55GB超ですが、公式の約4bit量子化で言語モデル部を20GB未満に圧縮し、KVキャッシュ込みで24〜32GBのメモリ枠を想定していると説明されています。この枠が、X1の32GBとちょうど重なる。Llama以降でMeta初のオープンウェイトという点でも気になる、常駐役の第一候補です。

    Gemma 4 ― Surface Laptopの現実解

    超小型のE2B/E4B(画像・音声対応)から12B、26B A4B(MoE)、31B denseまで幅のあるGoogleのファミリー。Ollamaでの12B 4bitが7.6GBという目安が出ていて、これなら16GB級でも計算上は載ります。27B級が入らないSurface Laptopの入口はここ。E2B/E4Bはラズパイ側の検討候補です。

    Nemotron 3.5 Lightning と LLM-jp-4 ― 夜の枠の候補

    NVIDIAが8月11日に公開したNemotron 3.5 Lightningは、総30B・活性3BのMoE。コンテキストは1Mで、OpenMDW-1.1でウェイトだけでなく学習データやレシピまで公開されています。エージェントの実行層向けという位置づけが夜の無人バッチと相性良さそう(「同クラス比で最大4倍の出力速度」はNVIDIAの自社発表値)。

    国産のLLM-jp(NII)からは33b-thinking / 8b-thinking / 32b-a3b-thinking が公開済み。8bはノートPC級、32b-a3bや33bはデスクトップ側の候補です。

    そして、今回も「動かせない側」がありました

    • GLM-5.2(Z.ai): 6月公開のオープンウェイトMoE。約750B級で活性は約40B、MITライセンス。BF16で約1.5TB、2bitにまで落としても約239〜245GB。デスクトップの128GBには収まりません

    • DeepSeek V4 Flash: 総284B・活性13BのMoEでコンテキスト1M、7月末の最新ビルドがMITでゲートなし公開。4bit級のメモリ目安は約160GBで、これも128GBを超えます

    Kimi K3のときと同じ壁が、少し低い位置にもう1本あったわけです。オープンウェイト=手元で動く、ではない。

    デスクトップPCの立ち位置

    RTX 3050はVRAMの容量的に27B級を丸ごとGPUに載せられませんが、RAMが128GBあるのでCPUへオフロードして「遅いが動く」構成を狙う余地はあります。GPUで速く回すマシンではなく、メモリの広さで夜とじっくりを担当するマシン。いちばん試したい構成です。


    ⚠️ つまずきポイントと注意点

    量子化サイズ=必要メモリ、ではない

    「4bitで16GBだから16GBのPCでいける」は、たいてい失敗します。モデル本体のほかにKVキャッシュが要るからです。7〜8Bクラスでも長いコンテキストを開くとキャッシュだけで数GB単位を食うと解説されていますし、Gemma 4でも256Kコンテキストでメモリを大きく消費するという報告がありました。モデルサイズは下限であって上限ではないのです。

    MoEは「活性が少ない=軽い」ではない

    総30B・活性3B、といった書き方は軽そうに見えますが、メモリには総パラメータ分を置く必要があります。計算量が減るのと、メモリが減るのは別の話です。

    ARM64機は、対応状況の確認が先

    Surface LaptopはARM64なので、実行環境やビルドの対応状況を先に確認しないと、サイズ上は載るのにそもそも起動しない、という止まり方をします。

    関連記事: 試すと、霧が晴れる ― AIの試し方は2つある、という話では、「読んで悩む」と「実際に試す」の違いについて書いています。今日はまだ前者の段階です。


    💡 夜の枠で回したいこと

    いちばん活かしたい夜の枠について、やりたいことを挙げておきます。どれも「朝までに終わっていればいい」ものばかりです。

    • 記事の下ごしらえ: 集めた資料をまとめて要約させ、翌朝は要約から読み始める

    • ログの分類: 手元にたまった作業ログを、テーマ別にタグ付けさせる

    • 文字起こしの整形: 会議やメモの生テキストを、読める形に整える

    事務なら「前日ぶんの伝票メモを夜のうちに分類」、営業なら「訪問メモから翌週のフォロー候補を抽出」。共通するのは、人が待っていない仕事であることだけです。


    🔗 関連記事

    今回の内容に関連する過去記事もぜひご覧ください:


    📝 まとめ

    • ローカルLLMを「速いか遅いか」の一軸で選ぶのをやめて、昼・夜・じっくりの3枠に分けた

    • 昼の枠は体感速度がすべて。手元では7Bで14.02 tok/s・補完0.46秒が待てるライン、音声なら1.5Bが現実解だった

    • 夜の枠は速度を問わない。人が待っていない仕事なら、遅いモデルでも成立する。じっくりの枠は単発の重要タスクで、数分待てるなら精度優先で選べる

    • 27B級の4bit(約16〜17GB)は16GB機に収まらず、32GB機なら容量計算上は載る。ただし速度は未実測なので「候補」まで

    • Muse Glimmerの公式想定24〜32GB枠は32GB機と重なる。Gemma 4 12Bの4bit 7.6GBは16GB機の現実解

    • GLM-5.2は2bitでも約239〜245GB、DeepSeek V4 Flashは4bitで約160GB。128GB機でも収まらない側がある

    「遅いから使えない」ではなく、「この速度なら、どの枠に置けるか」。順番を入れ替えただけですが、手元の4環境にモデルを配る作業が一気にやりやすくなりました。継続投稿395日目にして、ようやく整理できた気がします。今日の内容は全部、公開スペックと手元のメモリの引き算です。同じ引き算は、あなたのPCでもできます。


    🚀 次回予告

    次は、この見積もりの答え合わせに行きます。X1でQwen3.8-27Bの量子化版を実際に動かしてみて、「容量計算上は載る」が本当に載るのか、載ったとして昼の枠に置ける速度なのかを確かめる予定です。お楽しみに!


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!

    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。
    
    【デザインコンセプト】
    - 背景: 大きな横長の窓がある夕暮れの作業部屋。窓の外の空が、画面左の明るい昼の水色から中央の夕焼けオレンジ、画面右の深い藍色の星空へと、左から右へなめらかにグラデーションしている
    - メインビジュアル: 20代前半の女性キャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア)が、窓を背にした横長の机の手前に立ち、机の上を見渡しながら納得したように微笑んでいる
    - 机の上: 大きさの違う3台の機械を左から右へ一列に並べる。左に手のひらサイズの小さな基板、中央に薄いノートPC、右に背の高いデスクトップPC。3台とも小さく光っていて、それぞれの手前に小さな無地のプレートが1枚ずつ立っている
    - カラー: 部屋の中はあたたかいアイボリーとウォームグレー。左側はやわらかい昼の光、右側は落ち着いた藍色の夜の光で、机の上で2つの光が溶け合う
    - 装飾: 窓辺に浮かぶ光の粒、机の端に置かれた小さなメモ帳とマグカップ。壁掛けカレンダー・曜日カード・スタンプカード・ドアは描かない。実在ブランドのロゴや文字盤の数字は描かない
    - テキスト3段:
      上段(ホワイト・30〜32pt)「速さで選ぶのを、やめてみた」
      中段(ゴールド・44〜48pt)「昼・夜・じっくり」
      下段(ホワイト・20〜22pt)「ローカルLLMは3枠で決めると迷わない」
    
    【作成手順】
    1. スライドサイズ(1536×1024px)の横長フォーマットを設定する
    2. 夕暮れの作業部屋を、あたたかいアイボリーとウォームグレーのグラデーション背景で設定する
    3. 画面奥に大きな横長の窓を描き、窓の外の空を画面左の明るい昼の水色から、中央の夕焼けオレンジ、画面右の深い藍色の星空へと左から右へなめらかにグラデーションさせる。壁掛けカレンダー・曜日カード・スタンプカード・ドアは描かない
    4. 画面中央やや左に、メインビジュアルのキャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア・20代前半の女性)を配置し、窓を背にした横長の机の手前に立って机の上を見渡し、納得したようにやわらかく微笑んでいるポーズにする(添付画像と照合。黒パーカーにヘッドフォンの少年にはしない)
    5. 机の上に、大きさの違う3台の機械を左から右へ一列に並べる。左に手のひらサイズの小さな基板、中央に薄いノートPC、右に背の高いデスクトップPCを置き、3台とも画面や電源をやわらかく光らせ、それぞれの手前に小さな無地のプレートを1枚ずつ立てる
    6. 机の端に小さなメモ帳とマグカップを添え、窓辺に光の粒を散らす。左側の昼の光と右側の夜の光が机の上で溶け合うように整え、テキストを3段構成で追加する(上段: 白・太字・30〜32pt「速さで選ぶのを、やめてみた」/中段: 特大ゴールド・44〜48pt「昼・夜・じっくり」/下段: 白・細字・20〜22pt「ローカルLLMは3枠で決めると迷わない」)
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する(右下ではない)
    8. 全体のバランスを確認して完成させる
    9. キャラクターの参考画像(AI擬人化\Gemini_Generated_Image_クロ助(Claude Desktop).png)を1枚添付して、人物の一貫性を確保する

    #YaroTech #ClaudeDesktop #ローカルLLM #生成AI #AI活用 #毎日note #Qwen #Ollama #LLM #効率化 #ガジェット

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ