
決定モデルJulia-1とKev-4BをX1(32GB)で動かす前に ― 「しゃべらないAI」はtok/sで測れないので、物差しから決めた
こんにちは!YaroTechです。
日曜の記事で、クロコがこう言いました。「『来週こそ』は、もう言わんさー。順番を決める。まず、X1で決定モデルを動かす」。決定モデル(文章を書かず、選択肢の確率だけを返すAI)をX1で動かす話は、10月4日の記事で予告してから2週続けてやれていません。平日のテーマが先に埋まってしまったのが理由です。
今日もまだ動かしません。そのかわり、動かす前に決めておくべきことを全部決めます。何を測るのか、何を固定するのか、どの言葉を使うのか。決定モデルは「文章を書かないAI」なので、いつもの速度の物差しがそのまま使えません。そこを先に片づけておけば、実測の回は数字を埋めるだけになります。
専門用語が多めの回なので、途中で短く説明し、最後に「ことば帳」としてまとめています。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
PC: ThinkPad X1 Carbon(Core Ultra 7 258V/メモリ32GB/Windows 11 Home)
動かす道具: llama.cpp(今X1にあるのはビルド10456・8581・10709の3つ。決定モデルには11371以上が必要なので、実測の回は更新から始めます)
動かすモデル: Julia-1(144M)と Kev-4B(4B)
時点: 2026年10月20日。llama.cppは更新が速いので、実測の回ではビルド番号とモデルファイル名を必ず書きます
今日は実測なし。数字は、これまでの記事と公式ブログに書かれているものだけです。
関連記事: 3社が3日連続で同じ値段を出して、机には「しゃべらないAI」が来た週 ― 2026年10月第1週のAIニュース【AI5兄弟の日曜トーク】で、決定モデルがllama.cppに入った週のニュースを紹介しています。
🎯 この記事で得られること
決定モデルという「文章を書かないAI」が、何を受け取って何を返すのか(用語つき)
ローカルLLMの検証を始める前に決める5つのこと(目的・仮説・物差し・固定条件・手順)
32GBのノートPCでJulia-1とKev-4Bを動かす、具体的な計画
📊 決定モデルとは、何を返すAIか
10月2日、llama.cppの公式ブログに「決定モデル」対応が載りました。llama-server(llama.cppを待ち受けで動かすプログラム)に `/v1/systemone` という入口(エンドポイント=頼みごとを送る窓口のURL)が増え、ビルド11371から使えます。
ふつうのAIは、質問を渡すと文章を1文字ずつ作って返します。決定モデルは違います。渡すのは「状態(state)」と「質問(questions)」で、返ってくるのは選択肢ごとの確率です。文章は1文字も作らないので、出力トークン(AIが書き出した文字の数)は0です。
質問の型は3つあります。
choice:選択肢の中からどれかを選ぶ。返ってくるのは一番上の選択肢と、各選択肢の確率
score:2〜10段階のどこに当たるか。2段階の間の小数で返ることもある
noul:はい/いいえの質問。返ってくるのは「はい」の確率
choiceとscoreには confidence(その答えの自信の度合い)も付きます。公式ブログは「モデルごとに足切り値を決めて、自信のある答えだけ自動で処理し、残りは人が見る」という使い方を書いています。
公式が対応しているモデルは6つ。Julia-1(144M)、Laya(421M)、Kev-4B(4B)、lev(4B)、OpenJev(27B・非商用ライセンス)、Clef(27B)です。日曜の記事でクロコが「X1で動かすのは4B級まで」と判定したとおり、今回はJulia-1とKev-4Bに絞ります。
ここで1つ、公式の表を読んで気づいたことがあります。言語の列です。Julia-1は「50以上の言語」、OpenJevは日本語を含む6言語ですが、**Kev-4Bは「英語」**です。日本語のメールを振り分けさせるのは、公式が書いている範囲の外になります。これは失敗の予告ではなく、検証の見どころとして計画に入れます。
🧭 なぜ「来週こそ」が2回続いたか
正直に書くと、理由は単純です。平日は「その日に試したこと」から記事を作っています。M365 Copilotの集計、朝サマリーの定型化、ハルシネーションの検証、Windows版のGemini、土曜はクラウドセッション。どれも手元のPCを使う話で、決定モデルの番が回ってきませんでした。
もう1つ、見えにくい理由があります。「動かす」と言いながら、動かした後に何を書くかを決めていなかったことです。いつもの検証なら、tok/s(1秒に何文字書けたか)を測れば記事になります。決定モデルは文章を書かないので、その物差しが使えない。だから着手しづらかった。
なので今日は、動かす前に物差しを決めます。
📐 検証の設計 ― 動かす前に決める5つのこと
1. 目的(なぜ決定モデルか)
文章を書かせたい仕事ばかりではありません。「このメールは要対応か」「この問い合わせはどの係か」のような、振り分けと、はい/いいえの仕事があります。Day448で定型化した朝のメールサマリーも、「要対応」を選ぶところは人が読んでいます。文章を書かないぶん軽いなら、32GBのノートに常駐させて、この振り分けを任せられるかもしれない。それを確かめるのが目的です。
2. 仮説(○×で答えが出る形に)
Julia-1(144M)はX1で起動し、`/v1/systemone` に答える
Kev-4BもX1で起動し、同じ質問に答える
同じ質問を投げたとき、Kev-4Bの振り分けはJulia-1より「人の目で見て正しい」ことが多い
選択肢に説明を付けると、付けないときより振り分けが変わる(公式ブログの例の追試)
日本語の状態を投げたとき、「50以上の言語」のJulia-1と「英語」のKev-4Bで振り分けに差が出る
5は、同じ質問を英語に訳して投げる対照も用意します。日本語で外れたときに「モデルが苦手」なのか「言語が範囲外」なのかを切り分けるためです。
3. 測る物差し(tok/sが使えない理由)
これまでの検証では、速度を3つの顔で見てきました。tok/s(生成速度)、TTFT(最初の1文字が出るまでの時間)、合計応答時間です。決定モデルは出力トークンが0なので、tok/sは定義できません。TTFTも「最初の1文字」がありません。残るのは合計応答時間だけです。
そこで、記録する項目をこう決めました。
モデルの読み込み時間(秒)
1回の判定にかかる時間(ミリ秒。llama-serverのログか、curlの計測)
メモリの使用量(タスクマネージャーで、読み込み前後の差)
返ってきた確率と、人の目で見た正誤
公式ブログには、1問あたりJulia-1で3ミリ秒、Kev-4Bで12ミリ秒という数字が載っていますが、これはNVIDIA RTX PRO 6000という大きなGPUでの中央値です。X1の期待値には使いません。
4. 固定する条件(一度に変えるのは1つ)
同じX1、同じ質問セット、同じ起動方法(llama.cpp)
他のアプリは閉じる。以前、メモリが99%の状態で17GBのモデルが載らなかったことがあります(Day397)
llama.cppのビルド番号と、モデルのGGUFファイル名・量子化を記録する
LM Studio 0.4.26も同じ入口に対応していますが、X1には入っていないので、今回はllama.cppだけで進めます。
5. 質問セット(案A:メール仕分け)
架空の件名と本文を5通ほど用意し、「要対応/情報共有/宣伝」の3択で振り分けさせます。朝サマリーで人が読んでいる部分に、そのまま置き換えられる形です。
選択肢に説明を付けない版と、付けた版の2通り(仮説4)
日本語版と、同じ内容の英語版の2通り(仮説5)
公式ブログの追試(請求/配送/技術の振り分け)か、Day449で使った架空の出張旅費規程(「宿泊費の上限は記載あり?」をchoiceで聞く)に差し替える可能性は残しています。
🛠️ 手順 ― 実測の回で1ステップずつやること
X1のllama.cppのビルド番号を確認する。該当フォルダで `llama-server.exe --version` と打つと「build 10456」のように出ます。11371未満なので更新します
Julia-1を取得して起動する。公式の手順は `llama serve -hf ggml-org/Julia-1-GGUF`。更新後のビルドで `llama` コマンドがどう動くかは、実測の回で確かめて書きます
curlで `/v1/systemone` に state と questions を送り、answers(選択肢・確率・confidence)を確認する
同じことをKev-4Bでやる
記録表に、読み込み時間・判定時間・メモリ・正誤を埋める
送る形は、公式ブログの例をメール仕分けに置き換えると、こうなります(実測の回で、この形をそのまま使います)。
curl http://localhost:8080/v1/systemone -H "Content-Type: application/json" -d "{\"state\": \"件名: 見積書の再提出のお願い\n本文: 先日いただいた見積書の金額に誤りがありました。今週中に修正版をお送りください。\", \"questions\": {\"route\": {\"type\": \"choice\", \"instructions\": \"このメールはどれに当たるか\", \"criteria\": {\"要対応\": \"返信や作業が必要\", \"情報共有\": \"読めばよい\", \"宣伝\": \"広告や案内\"}}, \"urgent\": {\"type\": \"noul\", \"instructions\": \"今日中に対応が必要か\"}}}"state がメール、questions が2つ。route は3択、urgent ははい/いいえです。返ってくるのは、route の一番上の選択肢と各選択肢の確率、urgent の「はい」の確率で、文章はありません。
💡 自分の環境で真似するときの要件
メモリ32GBのWindowsノートなら、Julia-1(144M)とKev-4B(4B)は載る見込みです(日曜の記事のクロコの判定どおり。27B級は128GBのデスクトップ向け)
llama.cppはビルド11371以上。古いビルドには `/v1/systemone` がありません
curlはWindowsに最初から入っています。コマンドプロンプトで打てます
ライセンス: Julia-1とKev-4BはApache 2.0(仕事で使えます)。OpenJevは非商用なので、仕事の話には使いません
日本語で使うなら、公式が多言語と書いているのはJulia-1だけ。Kev-4Bは英語と書かれています
📖 ことば帳
本文で出てきた言葉を、順番にまとめます。
決定モデル:文章を書かないAI。選択肢の中から「どれが何割」だけを返す
systemone(System One):「速い判断」を指す言葉。考え込まず一発で答える仕組みの名前で、llama.cppでは入口のURLにもなっている
入口(エンドポイント):ソフトに頼みごとを送る窓口のURL。`/v1/systemone` が決定モデル用、`/v1/chat/completions` がいつものチャット用
state(状態):AIに渡す「いまの状況」。メールなら件名と本文
questions(質問):状況に対して聞きたいこと。choice=選択肢から選ぶ、score=2〜10段階のどこか、noul=はい/いいえで「はい」の確率
確率と confidence:「要対応 0.8」のように各選択肢の割合。confidenceは、その答えの自信の度合い。公式は「足切り値を決めて、低いものは人が見る」使い方を勧めている
出力トークン0:文章を1文字も作らないという意味。だからtok/sで測れない
順伝播1回:AIの計算を1周だけ回すこと。文章生成は1文字ごとに何周も回す
GGUF:llama.cppで読める形式のモデルファイル。1ファイルで配られる
量子化(Q4、Q8など):数字の精度を落としてファイルを小さくすること。Q4は4ビット、Q8は8ビット
144M/4B/27B:モデルの大きさ(パラメータ数)。Mは百万、Bは十億。大きいほど賢いことが多いが、重い
llama-server:llama.cppを「待ち受け」で動かすプログラム。ブラウザやcurlから頼めるようになる
curl:コマンドでURLに頼みごとを送る道具
ルーターモード:1つの待ち受けで複数のモデルを切り替える動かし方。引数なしの `llama serve` で起動し、頼みごとのたびにモデル名を指定する
Apache 2.0/非商用:仕事で使ってよいライセンス/研究用で、仕事には使えないライセンス
読み込み時間・判定時間・メモリ:今回の物差し。tok/sの代わり
🔗 関連記事
📝 まとめ
継続投稿453日目は、動かす前に設計だけを終わらせる回でした。
持ち帰りは3つです。
ひとつ、文章を書かないAIは、文章を書くAIの物差しでは測れません。tok/sの代わりに、読み込み時間・1回の判定時間・メモリ・正誤の4つを置きました。
ふたつ、「来週こそ」が続くときは、やる気ではなく設計が足りていないことがあります。何を測るかが決まっていないと、動かしても記事になりません。
みっつ、公式の表は最後の列まで読むこと。Kev-4Bの言語が「英語」だと分かったので、日本語で外れたときの切り分け(英語版の対照)を最初から計画に入れられました。
クロコに締めてもらいます。
「物差しは決めたさー。あとは、更新して、起動して、送るだけやっさ。……今度は『来週』とは言わない。次の回で、数字を埋める」
あなたの仕事に、「文章はいらないから、どれかを選んでほしい」場面はありますか?
🚀 次回予告
次回は実測の回です。X1のllama.cppを11371以上に更新し、Julia-1を起動して、メール仕分けの質問セットで読み込み時間・1回の判定時間・メモリ・正誤を記録します。続けてKev-4B。日本語と英語で差が出るかも、同じ回で見ます。
その先に、メインPCでNemotron 3.5 Bolt 24GB(日曜の順番宣言の2番目)が待っています。
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1、note見出し画像の1.91:1より少し横長)のみとしてください。これは他のどの指示よりも優先される絶対条件です。1024×1024、1536×1024、1792×1024、1:1(正方形)、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成が完了したら横2100×縦1005(約2.1:1)になっているか自己チェックし、ずれている場合は同じ条件で必ず作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「夕方の作業机と、閉じたままのノートPC」。窓から秋の夕日が差し込む、静かな作業部屋。壁は落ち着いたチャコールグレー、机は明るい木目。空の色は窓の外に、オレンジから薄い紫へのグラデーションで見える
- メインビジュアル:
- 【中央やや左】クロコ(添付1): 木の机に座り、鉛筆を手に、机の上に広げた大きな計画表(細い線と枠が描かれているが、文字は読めない)を見ている。表情は落ち着いていて、少し楽しそう
- 【机の上・右】閉じたままのノートPC。電源は入っていない(画面は見えない)
- 【机の上・手前】長さの違う木の物差しが3本、きれいに並べて置かれている(目盛りに数字や文字は描かない)
- 【机の端】手のひらサイズの小さなロボットが1体、口を閉じたまま立っていて、計画表を一緒にのぞき込んでいる
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「物差しは決めたさー」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt): 「動かす前に、測る物差しを決めた」
- 中段(特大ゴールド・44〜48pt): 「決定モデル・設計編」
- 下段(白・細字・20〜22pt): 「Julia-1・Kev-4B × X1(32GB)× llama.cpp」
- 装飾: 計画表の細い枠線、3本の物差し、閉じたノートPC、小さなロボット、窓から差す夕日の光と長い影、机の上の鉛筆削りの屑
- ※計画表・物差し・ロボット・ノートPCには数字や文字を描かないこと
- ※落胆・叱責・×印・暗い顔・涙を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 秤・市場広場・風車・温度計・帳面(Day439)/天文台・丸い机・無地の紙(Day449)/受付カウンター・引き出しの棚・書類トレイ(Day448)/図書館の大階段(Day445)
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)に固定する。正方形や1536×1024、16:9など他の比率は不可。まずこのサイズでキャンバスを確定してから、その枠内に収まるよう被写体やテキストを配置する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景の壁と窓の夕日のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 夕方の作業部屋を設定する。窓から差す夕日、チャコールグレーの壁、明るい木目の机
3. 中央やや左にクロコ(添付1と照合。鉛筆を持ち、計画表を見ている)を配置する
4. 机の上に、閉じたノートPC(右)、3本の物差し(手前)、小さなロボット(机の端)、広げた計画表(文字なし)を配置する
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセル(約2.1:1)になっているかを必ず確認する。16:9や正方形など指定以外の比率になっている場合は、手順1のサイズ指定を最優先条件として同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #llamacpp #決定モデル #生成AI #AI活用 #ThinkPad #検証 #Claude #毎日note