メインコンテンツへスキップ
見出し画像

速くする道具と、揺れを見る道具 ― 1GBのLFM3と22GBのNemotron 3.5 Boltを測った今週の2本を、これから試す人向けに言い直します

    こんにちは!YaroTechです。

    今週は月曜に1GBのLFM3、水曜に22GBのNemotron 3.5 Boltを、手元のPCで測りました。読み返すと、予測、受理率、KVキャッシュ、temperature……と、初めての人には呪文のような言葉ばかりでした。

    今日は新しい実験はせず、2本に出てきた言葉を「これから自分のPCでAIを試してみたい」人向けに言い直します。数字はすべて、11月2日と4日に測ったものです。

    出てきた道具は、大きく2種類でした。答えを速くする道具と、答えの揺れを見る道具です。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🎯 この記事で得られること

    • 「予測」「キャッシュ」「文脈の長さ」など、AIを速くする設定が何をしているのか

    • 同じ質問なのに答えが変わる理由と、それを確かめる方法

    • 自分のPCで試すときの、測る順番


    🛠️ たとえの登場人物をそろえる

    この記事は「工房」のたとえで話します。

    • 親方=AIの本体:1語ずつ、合っているか確かめながら書く。腕は確かだが、手は1つ

    • 見習い=予測用の小さいAI:親方より先に、下書きをどんどん書く

    • 付箋メモ:読んだ文章の要点を書き留めておくメモ

    • 机の広さ:一度に広げておける紙の量

    GPUのメモリを「作業台」、本体メモリを「奥」、専門家を「枝」と呼ぶ置き場所のたとえは、Day461と同じです。

    今週の2本はこうでした。お題はどちらも、架空のメール判定(3問)と出張旅費規程です。

    • 月曜:1.1GBのLFM3を、GPUのないノートPC(X1)と、RTX 3050(8GB)のメインPCで。動かす道具はOllama

    • 水曜:22GBのNemotron 3.5 Boltを、メインPCで。動かす道具はllama.cpp


    📌 先に結論

    今日説明する6つの言葉を、先に並べます。

    言葉ひとことたとえ今週の実例予測小さいAIが先に下書きし、本体が確かめる見習いと親方足したら書く速さが20.06→13.33 tok/sに落ちた受理率下書きのうち採用された割合見習いの採用率メール66.7%、出張旅費40.1%KVキャッシュ読んだ文章のメモ付箋メモq8_0(小さい字)のまま。比べていない文脈の長さ一度に扱える文章の量机の広さLFM3は4096、Boltは65536temperature/top_p答えの揺れ幅の調整味付けの濃さ/候補の絞り方2本とも1.0/0.95同じ質問を何回も1回の結果で決めないサイコロを1回で決めないLFM3は20回、Boltは5回ずつ\begin{array}{|l|l|l|l|} \hline \text{言葉} & \text{ひとこと} & \text{たとえ} & \text{今週の実例} \\ \hline \text{予測} & \text{小さいAIが先に下書きし、本体が確かめる} & \text{見習いと親方} & \text{足したら書く速さが20.06→13.33 tok/sに落ちた} \\ \hline \text{受理率} & \text{下書きのうち採用された割合} & \text{見習いの採用率} & \text{メール66.7\%、出張旅費40.1\%} \\ \hline \text{KVキャッシュ} & \text{読んだ文章のメモ} & \text{付箋メモ} & \text{q8\_0(小さい字)のまま。比べていない} \\ \hline \text{文脈の長さ} & \text{一度に扱える文章の量} & \text{机の広さ} & \text{LFM3は4096、Boltは65536} \\ \hline \text{temperature/top\_p} & \text{答えの揺れ幅の調整} & \text{味付けの濃さ/候補の絞り方} & \text{2本とも1.0/0.95} \\ \hline \text{同じ質問を何回も} & \text{1回の結果で決めない} & \text{サイコロを1回で決めない} & \text{LFM3は20回、Boltは5回ずつ} \\ \hline \end{array}


    🔮 予測と受理率 ― 見習いと親方

    見たこと

    Boltに、予測用の小さいAI(998MB)を足しました。見習いが次に来そうな言葉を6語まとめて下書きし、親方が1語ずつ確かめます。合っていれば採用、違えば親方が自分で書き直します。

    なぜそのやり方にしたのか

    公式の説明に「予測で速くなる」とあったからです。親方が1語ずつ考えるより、下書きを確かめるほうが早い、という理屈です。

    やってみて分かったこと

    見習いの下書きは、メールで66.7%(24本中16本)、出張旅費で40.1%が採用されました。この割合を受理率といいます。6割以上当たっていたのに、全体は遅くなりました。

    • 書く速さ:20.06 → 13.33 tok/s(約3割減)

    • 入力を読む速さ:138.0 → 53.7 tok/s(約6割減)

    画像
    予測のたとえ。見習いの下書きが6割当たっていても、親方の確認に手が取られると全体は遅くなった

    見習いを入れて、作業台(GPUのメモリ)は7,907MiBとほぼ満杯でした。それが原因かもしれませんが、確かめてはいません。言えるのは「受理率が高い=速くなる、ではなかった」までです。


    🗂️ キャッシュは3つある

    見たこと

    キャッシュは「あとで使うものを手元に置いておく」ことの総称です。今週の2本とDay461には、名前の同じ「キャッシュ」が3種類出てきます。

    画像
    今週の記事に出てきた3つのキャッシュ。名前は同じでも、置くものと置く場所が違う

    • KVキャッシュ(付箋メモ):AIが読んだ文章の要点のメモ。会話が長いほど付箋が増え、メモリを食います。`q8_0` は付箋に小さい字で書いて、場所を節約する設定です

    • MoEキャッシュ(カゴ):奥に置いた枝(専門家)のうち、よく使うものをカゴに入れて作業台に置く(Day461で説明)

    • プロンプトキャッシュ(前に読んだ所は読み直さない):同じ質問の2回目が速く見える理由(Day461で説明)

    なぜそのやり方にしたのか

    Boltでは、変える設定を1つずつにしたかったので、KVキャッシュは最初から最後まで `q8_0` のままにしました。カゴは、Day461で「カゴなしでは測っていない」と書いていたので、外して測りました。

    やってみて分かったこと

    カゴを外したほうが速く(17.64 → 20.06 tok/s)、作業台も約1.1GB空きました。最後にもう一度カゴありで測っても17.91 tok/sで、測った順番のせいでもありません。このPCでは、カゴは要らなかったことになります。

    付箋の字の大きさ(`q8_0`)は、外して比べていません。どれだけ得をしているかは、今週の数字からは言えません。


    📏 文脈の長さ ― 机の広さ

    見たこと

    文脈の長さは、AIが一度に広げておける文章の量です。机が広いほど長い資料を読めますが、そのぶん付箋メモの置き場所も要ります。今週はLFM3が4096、Boltが65536でした(単位はトークン。AIが文章を区切る単位です)。

    なぜそのやり方にしたのか

    正直に書くと、2本で机の広さはそろえていません。BoltはDay460の起動設定をそのまま使いました。メールの入力は約260トークンなので、どちらの机にも余裕で載ります。

    やってみて分かったこと

    机の広さを変えて比べてはいません。ただ、短いメールを読むだけなら広い机は要らないので、メモリが足りないPCでは、まず机を狭くしてみる価値があります(Day455に、狭くしてメモリが大きく減った例があります)。


    🎲 temperatureとtop_p、そして同じ質問を何回も送る理由

    ここからは「揺れを見る道具」です。

    見たこと

    AIは次の1語を、いちばんありそうな言葉に決め打ちしているわけではありません。候補の中から、くじ引きのように選んでいます。

    • temperature:味付けの濃さ。高いほど、意外な言葉も選ばれやすい

    • top_p:候補の絞り方。0.95なら、ありそうな順に並べて、上から合わせて95%になるところまでの中から選ぶ

    今週は2本とも、temperature 1.0・top_p 0.95にそろえました。

    なぜそのやり方にしたのか

    この設定だと、同じ質問でも答えが揺れることがあります。だから1回の○×で決めず、同じ質問を何回も送りました。サイコロを1回振って「6が出ないサイコロだ」と決めないのと同じです。LFM3は20回ずつ、Boltは5回ずつです。

    やってみて分かったこと

    LFM3は、揺れがはっきり出ました。同じメールを20回送ったときの全問正解です。

    • ノートPC(CPU):18回

    • メインPC(GPU):6回

    • メインPC(GPUを使わせない):18回

    GPUのときは、1問目の「要対応」を20回中14回「情報共有」と答えました。1回だけ測っていたら、たまたま当たった回を見て「GPUでも大丈夫」と書いていたかもしれません。

    一方、Boltは同じ設定でも5回とも同じ答えでした。どれくらい揺れるかは、モデルによって違います(LFM3はOllama、Boltはllama.cppなので、道具の違いの可能性もあり、そこは切り分けていません)。


    🧠 考えるモードのオン・オフ

    考えるモードは、答える前に考える文を書く機能です(Day270で「思考過程が見えるAI」として説明しました)。

    見たこと・なぜ:LFM3は最初からオンで、1回目は39秒かかって答えが空でした。考える文だけで上限を使い切っていたのです。Boltの条件にそろえるため、オフにしました。

    分かったこと:LFM3はオフで約2.25秒。Boltはオンにしても答えは同じで、待ち時間だけが20〜50倍になりました。短い判定なら、切ってよさそうです。


    ⚖️ 速いと正しいは、別の物差し

    今週いちばん大事だったのは、ここです。

    • LFM3はGPUで動かすと約0.2秒で答えた(ノートPCの約10分の1)。でも全問正解は20回中6回

    • Qwen3.5-35B-A3BはBoltより速く(書く速さ27.91 tok/s)、出張旅費規程の「日当」で、資料にないことを「記載なし」と言えた。Boltは3回とも違う形で外した(Qwenは1回だけの結果なので「今回は」です)

    速くする道具で速くなっても、正しさが上がるわけではありません。正しさは、揺れを見る道具で別に測ります。


    🔍 自分で試すときの順番

    1. 1つ足して1回測る:公式の「速くなる」は、自分のPCで確かめる。今週は予測もカゴも、足したら遅くなった

    2. 3つの数字を混ぜない:入力を読む速さ・書く速さ・合計は別物。ノートPCのLFM3は1語あたりBoltの約2倍速いのに、長く書いたので合計ではBoltより遅かった

    3. 同じ質問を5回以上送る:1回の○×で「使える/使えない」と言わない

    4. 2台で比べるなら、タグは量子化まで書いてそろえる:`lfm3:1.7b` は機械によって中身が変わるので、`lfm3:1.7b-q4_K_M` と書いた

    水曜の記事でおすすめした起動コマンドを、1つだけ再掲します。ファイルの場所は自分の環境に合わせてください。

    llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081

    この1行のうち、今日の話はここです。

    • `--ctx-size 65536`:机の広さ

    • `--cache-type-k q8_0 --cache-type-v q8_0`:付箋の字の大きさ

    • `--temp 1.0 --top-p 0.95`:味付けと候補の絞り方

    • `-ngl 99 --n-cpu-moe 99`:木は作業台、枝は奥(Day461)

    • 入っていないもの:カゴ(`--moe-cache-mib`)と予測。どちらもこのPCでは遅くなったので外しました


    📖 ことば帳

    6つの言葉は「先に結論」の表のとおりです。ここでは、表に入れなかったことばを短く。

    • Ollamaとllama.cpp:Ollamaは入れればすぐ動く入口。llama.cppは、その中身にあたる道具を自分で動かすもの

    • モデルのタグの読み方:`lfm3:1.7b-q4_K_M` は「名前:大きさ-量子化」

    • flash-attn:文章を読む計算をまとめて行い、メモリを節約する仕組み。今週は常にオン

    前に説明したことば(ひとことだけ)

    • 考えるモード:答える前に考える文を書く機能(Day270)

    • -ngl/-ngl 0:GPUに載せる層の数。0ならGPUを使わない(Day292)

    • MoEキャッシュ・プロンプトキャッシュ・VRAM:カゴ/2回目が速く見える理由/作業台(Day461)

    • 量子化:モデルを小さくする工夫。写真の画質調整(Day270)


    📝 まとめ

    今日の持ち帰りは3つです。

    1. 速くする道具(予測・キャッシュ・文脈の長さ)は、足せば速くなるとは限らない。予測は6割当たっても遅くなり、カゴは外したほうが速かった

    2. 揺れを見る道具(temperature・top_p・同じ質問を何回も)で見ると、LFM3は計算する場所を変えただけで20回中18回が6回になった。1回の結果で決めない

    3. 速いと正しいは別の物差し。試すときは、1つ足して1回測り、同じ質問を5回以上送る

    クロコに締めてもらいます。

    「見習いが6割当てても、親方の手が止まったら遅くなるさー。速いのと当たるのも別やっさ。1つ足して1回測る、それだけよー」

    あなたが試しているAI、同じ質問を何回送って確かめていますか?


    🔗 関連記事


    🚀 次回予告

    明日は、仕事で生成AIを「一人で使う」から「チームで使う」に広げるときに出る、プロンプトの個人差をなくす4段階(プロンプト帳→共有→プロジェクトやGem→スキル)を整理します。

    日曜トークでは、今週の予告(Claude DuetのPro招待、DevDay Exchange London、Genie 4のUltra提供)の答え合わせをします。


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。見習いの人物も描かないこと(見習いは「空いた小さな丸椅子」と「下書きの紙の束」だけで表す)。
    
    【デザインコンセプト】
    - 背景: 「初冬の朝の、文字の工房」。白い漆喰の壁と古い木の梁、高い格子窓から澄んだ朝の光が斜めに差し込む。全体の色は、やわらかな生成り色から、落ち着いた藍色へのグラデーション
    - メインビジュアル:
      - 【中央】クロコ(添付1): 工房の親方として、広い書き物机の前に座り、片手で下書きの紙を持ち、もう片方の手の赤鉛筆で1語ずつなぞって確かめている。表情は落ち着いていて、集中している
      - 【広い書き物机(中央)】紙が何枚もゆったり並べて広げられている(机の広さ=文脈の長さ)。机の端に、小さな付箋メモの束がきちんと重ねて置かれている(付箋にはごく小さな字のような模様だけ。読める文字は描かない)。木の小さなサイコロが2つ(目は点のみ)
      - 【右奥の小さな書き物机】狭い机の上で紙が重なり、端から少しはみ出している(狭い机との対比)
      - 【左手前】空いた小さな丸椅子と、その上に積まれた下書きの紙の束(先に下書きした見習いの席。人物は描かない)
      - 下書きの紙の文字は、読めない波線で描き、ところどころに緑の小さな丸印が付いている
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「速いと当たるは、別さー」
    - テキスト要素(3段):
      - 上段(白・太字・28〜30pt・濃い影付き): 「今週の実測2本を、これから試す人向けに」
      - 中段(特大ゴールド・40〜44pt): 「速くする道具と、揺れを見る道具」
      - 下段(白・細字・20〜22pt・濃い影付き): 「1GBのLFM3 × 22GBのNemotron 3.5 Bolt」
    - 装飾: 格子窓からの朝の光の筋、漆喰の壁の淡い影、宙に舞う細かな光の粒、机の木目
    - ※紙・付箋・サイコロ・机・椅子には数字や読める文字を描かないこと(名札プレートと吹き出しとテキスト3段以外に文字を入れない)
    - ※落胆・叱責・×印・涙・破れた紙・壊れた道具を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: 木造の作業小屋・作業台・籐のカゴ・枝・置き時計(Day466)/野原の弓道場・的・矢・どんぐり(Day465)/紅葉の渓谷・吊り橋・茶屋の縁台(Day464)/石畳の広場・5段の階段・本の山・植木鉢(Day462・463)/ガラスの温室・栽培台(Day456・457・460・461)/会議室・ホワイトボード・虫めがね(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路(Day455)/郵便仕分け場・ベルト・封筒(Day454)/物差し・閉じたノートPC(Day453)。※付箋は今回のたとえ(読んだ文章の付箋メモ)として、机の上の小さな束でのみ使う。机は「書き物机」として、広い机と狭い机の対比でのみ使う
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景の漆喰の壁と格子窓のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 初冬の朝の文字の工房を設定する。白い漆喰の壁、古い木の梁、格子窓からの朝の光、生成り色から藍色へのグラデーション
    3. 中央に広い書き物机(紙をゆったり広げる・付箋メモの束・木のサイコロ2つ)、右奥に狭い書き物机(紙が重なってはみ出す)、左手前に空いた小さな丸椅子と下書きの紙の束を置く
    4. 中央の広い机にクロコ(添付1と照合)を配置し、下書きの紙を持って赤鉛筆で1語ずつなぞって確かめる姿にする
    5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    6. テキストを3段構成で追加し(上段: 白・太字・28〜30pt/中段: 特大ゴールド・40〜44pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    8. 全体のバランスを確認して完成させる。🚨 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認し、違う場合は同じ内容で再生成する
    9. キャラの参考画像(添付1)を添付して人物の一貫性を確保する

    #YaroTech #ローカルLLM #初心者向け #llamacpp #Ollama #Nemotron #LFM3 #RTX3050 #AI活用 #生成AI #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ