
速くする道具と、揺れを見る道具 ― 1GBのLFM3と22GBのNemotron 3.5 Boltを測った今週の2本を、これから試す人向けに言い直します
こんにちは!YaroTechです。
今週は月曜に1GBのLFM3、水曜に22GBのNemotron 3.5 Boltを、手元のPCで測りました。読み返すと、予測、受理率、KVキャッシュ、temperature……と、初めての人には呪文のような言葉ばかりでした。
今日は新しい実験はせず、2本に出てきた言葉を「これから自分のPCでAIを試してみたい」人向けに言い直します。数字はすべて、11月2日と4日に測ったものです。
出てきた道具は、大きく2種類でした。答えを速くする道具と、答えの揺れを見る道具です。
※見出し画像のプロンプトは一番下におまけで公開中!
🎯 この記事で得られること
「予測」「キャッシュ」「文脈の長さ」など、AIを速くする設定が何をしているのか
同じ質問なのに答えが変わる理由と、それを確かめる方法
自分のPCで試すときの、測る順番
🛠️ たとえの登場人物をそろえる
この記事は「工房」のたとえで話します。
親方=AIの本体:1語ずつ、合っているか確かめながら書く。腕は確かだが、手は1つ
見習い=予測用の小さいAI:親方より先に、下書きをどんどん書く
付箋メモ:読んだ文章の要点を書き留めておくメモ
机の広さ:一度に広げておける紙の量
GPUのメモリを「作業台」、本体メモリを「奥」、専門家を「枝」と呼ぶ置き場所のたとえは、Day461と同じです。
今週の2本はこうでした。お題はどちらも、架空のメール判定(3問)と出張旅費規程です。
月曜:1.1GBのLFM3を、GPUのないノートPC(X1)と、RTX 3050(8GB)のメインPCで。動かす道具はOllama
水曜:22GBのNemotron 3.5 Boltを、メインPCで。動かす道具はllama.cpp
📌 先に結論
今日説明する6つの言葉を、先に並べます。
🔮 予測と受理率 ― 見習いと親方
見たこと
Boltに、予測用の小さいAI(998MB)を足しました。見習いが次に来そうな言葉を6語まとめて下書きし、親方が1語ずつ確かめます。合っていれば採用、違えば親方が自分で書き直します。
なぜそのやり方にしたのか
公式の説明に「予測で速くなる」とあったからです。親方が1語ずつ考えるより、下書きを確かめるほうが早い、という理屈です。
やってみて分かったこと
見習いの下書きは、メールで66.7%(24本中16本)、出張旅費で40.1%が採用されました。この割合を受理率といいます。6割以上当たっていたのに、全体は遅くなりました。
書く速さ:20.06 → 13.33 tok/s(約3割減)
入力を読む速さ:138.0 → 53.7 tok/s(約6割減)

見習いを入れて、作業台(GPUのメモリ)は7,907MiBとほぼ満杯でした。それが原因かもしれませんが、確かめてはいません。言えるのは「受理率が高い=速くなる、ではなかった」までです。
🗂️ キャッシュは3つある
見たこと
キャッシュは「あとで使うものを手元に置いておく」ことの総称です。今週の2本とDay461には、名前の同じ「キャッシュ」が3種類出てきます。

KVキャッシュ(付箋メモ):AIが読んだ文章の要点のメモ。会話が長いほど付箋が増え、メモリを食います。`q8_0` は付箋に小さい字で書いて、場所を節約する設定です
MoEキャッシュ(カゴ):奥に置いた枝(専門家)のうち、よく使うものをカゴに入れて作業台に置く(Day461で説明)
プロンプトキャッシュ(前に読んだ所は読み直さない):同じ質問の2回目が速く見える理由(Day461で説明)
なぜそのやり方にしたのか
Boltでは、変える設定を1つずつにしたかったので、KVキャッシュは最初から最後まで `q8_0` のままにしました。カゴは、Day461で「カゴなしでは測っていない」と書いていたので、外して測りました。
やってみて分かったこと
カゴを外したほうが速く(17.64 → 20.06 tok/s)、作業台も約1.1GB空きました。最後にもう一度カゴありで測っても17.91 tok/sで、測った順番のせいでもありません。このPCでは、カゴは要らなかったことになります。
付箋の字の大きさ(`q8_0`)は、外して比べていません。どれだけ得をしているかは、今週の数字からは言えません。
📏 文脈の長さ ― 机の広さ
見たこと
文脈の長さは、AIが一度に広げておける文章の量です。机が広いほど長い資料を読めますが、そのぶん付箋メモの置き場所も要ります。今週はLFM3が4096、Boltが65536でした(単位はトークン。AIが文章を区切る単位です)。
なぜそのやり方にしたのか
正直に書くと、2本で机の広さはそろえていません。BoltはDay460の起動設定をそのまま使いました。メールの入力は約260トークンなので、どちらの机にも余裕で載ります。
やってみて分かったこと
机の広さを変えて比べてはいません。ただ、短いメールを読むだけなら広い机は要らないので、メモリが足りないPCでは、まず机を狭くしてみる価値があります(Day455に、狭くしてメモリが大きく減った例があります)。
🎲 temperatureとtop_p、そして同じ質問を何回も送る理由
ここからは「揺れを見る道具」です。
見たこと
AIは次の1語を、いちばんありそうな言葉に決め打ちしているわけではありません。候補の中から、くじ引きのように選んでいます。
temperature:味付けの濃さ。高いほど、意外な言葉も選ばれやすい
top_p:候補の絞り方。0.95なら、ありそうな順に並べて、上から合わせて95%になるところまでの中から選ぶ
今週は2本とも、temperature 1.0・top_p 0.95にそろえました。
なぜそのやり方にしたのか
この設定だと、同じ質問でも答えが揺れることがあります。だから1回の○×で決めず、同じ質問を何回も送りました。サイコロを1回振って「6が出ないサイコロだ」と決めないのと同じです。LFM3は20回ずつ、Boltは5回ずつです。
やってみて分かったこと
LFM3は、揺れがはっきり出ました。同じメールを20回送ったときの全問正解です。
ノートPC(CPU):18回
メインPC(GPU):6回
メインPC(GPUを使わせない):18回
GPUのときは、1問目の「要対応」を20回中14回「情報共有」と答えました。1回だけ測っていたら、たまたま当たった回を見て「GPUでも大丈夫」と書いていたかもしれません。
一方、Boltは同じ設定でも5回とも同じ答えでした。どれくらい揺れるかは、モデルによって違います(LFM3はOllama、Boltはllama.cppなので、道具の違いの可能性もあり、そこは切り分けていません)。
🧠 考えるモードのオン・オフ
考えるモードは、答える前に考える文を書く機能です(Day270で「思考過程が見えるAI」として説明しました)。
見たこと・なぜ:LFM3は最初からオンで、1回目は39秒かかって答えが空でした。考える文だけで上限を使い切っていたのです。Boltの条件にそろえるため、オフにしました。
分かったこと:LFM3はオフで約2.25秒。Boltはオンにしても答えは同じで、待ち時間だけが20〜50倍になりました。短い判定なら、切ってよさそうです。
⚖️ 速いと正しいは、別の物差し
今週いちばん大事だったのは、ここです。
LFM3はGPUで動かすと約0.2秒で答えた(ノートPCの約10分の1)。でも全問正解は20回中6回
Qwen3.5-35B-A3BはBoltより速く(書く速さ27.91 tok/s)、出張旅費規程の「日当」で、資料にないことを「記載なし」と言えた。Boltは3回とも違う形で外した(Qwenは1回だけの結果なので「今回は」です)
速くする道具で速くなっても、正しさが上がるわけではありません。正しさは、揺れを見る道具で別に測ります。
🔍 自分で試すときの順番
1つ足して1回測る:公式の「速くなる」は、自分のPCで確かめる。今週は予測もカゴも、足したら遅くなった
3つの数字を混ぜない:入力を読む速さ・書く速さ・合計は別物。ノートPCのLFM3は1語あたりBoltの約2倍速いのに、長く書いたので合計ではBoltより遅かった
同じ質問を5回以上送る:1回の○×で「使える/使えない」と言わない
2台で比べるなら、タグは量子化まで書いてそろえる:`lfm3:1.7b` は機械によって中身が変わるので、`lfm3:1.7b-q4_K_M` と書いた
水曜の記事でおすすめした起動コマンドを、1つだけ再掲します。ファイルの場所は自分の環境に合わせてください。
llama-server.exe --model D:\AITools\models\nemotron-bolt\NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf --ctx-size 65536 -ngl 99 --n-cpu-moe 99 --load-mode none --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --flash-attn on --jinja --port 8081この1行のうち、今日の話はここです。
`--ctx-size 65536`:机の広さ
`--cache-type-k q8_0 --cache-type-v q8_0`:付箋の字の大きさ
`--temp 1.0 --top-p 0.95`:味付けと候補の絞り方
`-ngl 99 --n-cpu-moe 99`:木は作業台、枝は奥(Day461)
入っていないもの:カゴ(`--moe-cache-mib`)と予測。どちらもこのPCでは遅くなったので外しました
📖 ことば帳
6つの言葉は「先に結論」の表のとおりです。ここでは、表に入れなかったことばを短く。
Ollamaとllama.cpp:Ollamaは入れればすぐ動く入口。llama.cppは、その中身にあたる道具を自分で動かすもの
モデルのタグの読み方:`lfm3:1.7b-q4_K_M` は「名前:大きさ-量子化」
flash-attn:文章を読む計算をまとめて行い、メモリを節約する仕組み。今週は常にオン
前に説明したことば(ひとことだけ)
考えるモード:答える前に考える文を書く機能(Day270)
-ngl/-ngl 0:GPUに載せる層の数。0ならGPUを使わない(Day292)
MoEキャッシュ・プロンプトキャッシュ・VRAM:カゴ/2回目が速く見える理由/作業台(Day461)
量子化:モデルを小さくする工夫。写真の画質調整(Day270)
📝 まとめ
今日の持ち帰りは3つです。
速くする道具(予測・キャッシュ・文脈の長さ)は、足せば速くなるとは限らない。予測は6割当たっても遅くなり、カゴは外したほうが速かった
揺れを見る道具(temperature・top_p・同じ質問を何回も)で見ると、LFM3は計算する場所を変えただけで20回中18回が6回になった。1回の結果で決めない
速いと正しいは別の物差し。試すときは、1つ足して1回測り、同じ質問を5回以上送る
クロコに締めてもらいます。
「見習いが6割当てても、親方の手が止まったら遅くなるさー。速いのと当たるのも別やっさ。1つ足して1回測る、それだけよー」
あなたが試しているAI、同じ質問を何回送って確かめていますか?
🔗 関連記事
Nemotron 3.5 Bolt 24GBの残りを全部測ったら、速くした主役はキャッシュではなく「専門家を本体メモリに置く」ことだった ― 予測は遅くなり、日当の「記載なし」はQwen3.5だけが言えた(予測・キャッシュ・考えるモード・Qwen比較)
1.1GBのLFM3(1.7B)を、GPUなしのノートとRTX 3050で動かした ― GPUは10倍速いのに、メールの正解は20回中18回から6回に減った(同じ質問を20回送った回)
GPUに載らない大きさのAIを家のPCで動かす「3つの置き方」 ― 22GBのNemotron 3.5 BoltがRTX 3050(8GB)で動いた理由を、木と枝とカゴで説明します(前回の整理回・置き場所のたとえ)
🚀 次回予告
明日は、仕事で生成AIを「一人で使う」から「チームで使う」に広げるときに出る、プロンプトの個人差をなくす4段階(プロンプト帳→共有→プロジェクトやGem→スキル)を整理します。
日曜トークでは、今週の予告(Claude DuetのPro招待、DevDay Exchange London、Genie 4のUltra提供)の答え合わせをします。
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。見習いの人物も描かないこと(見習いは「空いた小さな丸椅子」と「下書きの紙の束」だけで表す)。
【デザインコンセプト】
- 背景: 「初冬の朝の、文字の工房」。白い漆喰の壁と古い木の梁、高い格子窓から澄んだ朝の光が斜めに差し込む。全体の色は、やわらかな生成り色から、落ち着いた藍色へのグラデーション
- メインビジュアル:
- 【中央】クロコ(添付1): 工房の親方として、広い書き物机の前に座り、片手で下書きの紙を持ち、もう片方の手の赤鉛筆で1語ずつなぞって確かめている。表情は落ち着いていて、集中している
- 【広い書き物机(中央)】紙が何枚もゆったり並べて広げられている(机の広さ=文脈の長さ)。机の端に、小さな付箋メモの束がきちんと重ねて置かれている(付箋にはごく小さな字のような模様だけ。読める文字は描かない)。木の小さなサイコロが2つ(目は点のみ)
- 【右奥の小さな書き物机】狭い机の上で紙が重なり、端から少しはみ出している(狭い机との対比)
- 【左手前】空いた小さな丸椅子と、その上に積まれた下書きの紙の束(先に下書きした見習いの席。人物は描かない)
- 下書きの紙の文字は、読めない波線で描き、ところどころに緑の小さな丸印が付いている
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「速いと当たるは、別さー」
- テキスト要素(3段):
- 上段(白・太字・28〜30pt・濃い影付き): 「今週の実測2本を、これから試す人向けに」
- 中段(特大ゴールド・40〜44pt): 「速くする道具と、揺れを見る道具」
- 下段(白・細字・20〜22pt・濃い影付き): 「1GBのLFM3 × 22GBのNemotron 3.5 Bolt」
- 装飾: 格子窓からの朝の光の筋、漆喰の壁の淡い影、宙に舞う細かな光の粒、机の木目
- ※紙・付箋・サイコロ・机・椅子には数字や読める文字を描かないこと(名札プレートと吹き出しとテキスト3段以外に文字を入れない)
- ※落胆・叱責・×印・涙・破れた紙・壊れた道具を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 木造の作業小屋・作業台・籐のカゴ・枝・置き時計(Day466)/野原の弓道場・的・矢・どんぐり(Day465)/紅葉の渓谷・吊り橋・茶屋の縁台(Day464)/石畳の広場・5段の階段・本の山・植木鉢(Day462・463)/ガラスの温室・栽培台(Day456・457・460・461)/会議室・ホワイトボード・虫めがね(Day459)/神社の境内・鳥居・提灯・絵馬(Day458)/倉庫・木箱・クレーン・港町(Day452)/朝の駅の分岐点・線路(Day455)/郵便仕分け場・ベルト・封筒(Day454)/物差し・閉じたノートPC(Day453)。※付箋は今回のたとえ(読んだ文章の付箋メモ)として、机の上の小さな束でのみ使う。机は「書き物机」として、広い机と狭い机の対比でのみ使う
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景の漆喰の壁と格子窓のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 初冬の朝の文字の工房を設定する。白い漆喰の壁、古い木の梁、格子窓からの朝の光、生成り色から藍色へのグラデーション
3. 中央に広い書き物机(紙をゆったり広げる・付箋メモの束・木のサイコロ2つ)、右奥に狭い書き物机(紙が重なってはみ出す)、左手前に空いた小さな丸椅子と下書きの紙の束を置く
4. 中央の広い机にクロコ(添付1と照合)を配置し、下書きの紙を持って赤鉛筆で1語ずつなぞって確かめる姿にする
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・28〜30pt/中段: 特大ゴールド・40〜44pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる。🚨 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認し、違う場合は同じ内容で再生成する
9. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #初心者向け #llamacpp #Ollama #Nemotron #LFM3 #RTX3050 #AI活用 #生成AI #Claude #毎日note