
決定モデルJulia-1をX1(32GB)で動かした ― 2回目からは約25ミリ秒、でも「至急」のメールを「宣伝」に振り分けた(Kev-4Bはダウンロード30%で時間切れ)
こんにちは!YaroTechです。
昨日の記事では、決定モデル(文章を書かず、選択肢ごとの確率だけを返すAI)をX1で動かす前に、何を測るかを決めました。今日はその実測の回です。
結論を先に書きます。Julia-1はX1で問題なく動き、2回目からは1回の判定が約25ミリ秒でした。ただ、「至急・本日中に直してほしい」という見積書のメールを、Julia-1は「宣伝」に振り分けました。もう一方のKev-4Bは、ダウンロードが30%まで進んだところで今日の時間切れです。
速さと正しさは別もの、というのが今日いちばんの発見でした。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
PC: ThinkPad X1 Carbon(Core Ultra 7 258V/メモリ32GB/Windows 11 Home 26H2)
動かす道具: llama.cpp ビルド11669(v0.7.0-dev・win-vulkan-x64版)。更新前はビルド10456
動かしたモデル: Julia-1(ファイルは Julia-1-Q8_0.gguf)
途中まで: Kev-4B(ファイルは Kev-4B-Q4_K_M.gguf・ダウンロード30%)
時点: 2026年10月21日夜。llama.cppは更新が速いので、ビルド番号が違うと動きが変わることがあります
関連記事: 決定モデルJulia-1とKev-4BをX1(32GB)で動かす前に ― 「しゃべらないAI」はtok/sで測れないので、物差しから決めたで、今日の測り方を決めています。
🎯 この記事で得られること
決定モデルをWindowsノートで動かす手順(更新→起動→質問を投げる)
決定モデルの「速さ」をどこで測ればいいか(コマンドの時刻表示では測れなかった話)
日本語と英語で同じメールを振り分けさせたら、どう違ったか
🔧 手順1:llama.cppを更新する
決定モデル用の入口 `/v1/systemone` は、ビルド11371から使えます。X1に入っていたのはビルド10456だったので、まず更新しました。
GitHubのllama.cppのリリースページから、Windows用の `llama-b11669-bin-win-vulkan-x64.zip`(30.7MB)をダウンロード
展開して、古いフォルダの隣に置く(古いほうは消さずに残しました)
コマンドプロンプトで `llama-server.exe --version` を打ち、「build 11669」と出ることを確認
うれしかったのは、展開したフォルダに `llama.exe` が入っていたことです。公式ブログの手順は `llama serve -hf モデル名` という書き方で、これがそのまま使えました。
🚀 手順2:Julia-1を起動する
起動はこの1行だけです。
`llama.exe serve -hf ggml-org/Julia-1-GGUF --port 8080`
モデルはHugging Faceから自動でダウンロードされます。わかったことを並べます。
ファイルは指定しなくても Julia-1-Q8_0.gguf(8ビット量子化)が選ばれた
ダウンロードは約15分(うちの夜の回線での数字です)
ダウンロード後、読み込みは約2.2秒
ログには「決定モデルなので埋め込みモードにする」という意味の行が出て、型は「laya」と表示された(Julia-1なのにLayaと出るのは少し不思議でした)
「symlinkが作れない」という警告が出たが、管理者権限なしで起動したためで、動作には影響なし
タスクマネージャーのメモリは、起動前も起動後も16.1GBのまま。144Mのモデルなので、増えたことがわからないくらいでした
📨 手順3:架空のメールを振り分けさせる
昨日決めた質問セット(メール仕分け)から、まず1通を投げました。架空の「【至急】見積書の金額に誤りがあります」というメールで、本文は「明日の社内会議で使うので、本日中に修正版を送ってほしい」です。
聞いたのは3問です。
route(choice=選択肢から選ぶ):要対応/情報共有/宣伝。それぞれに説明を付けた
urgent(noul=はい/いいえ):今日中に対応が必要か
priority(score=段階):急がない/今週中/今日中/今すぐ
人の目で見た正解は、要対応・はい・今日中〜今すぐ です。質問はJSONファイルに書いておき、別のコマンドプロンプトからこう送りました。
curl -s http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" --data-binary @req01_mail_ja.json同じ内容を英語に訳したファイルも用意して、続けて投げました。
⏱️ 結果1:速さ ― 最初の1回だけ遅く、2回目からは約25ミリ秒
1回の判定時間は、サーバー側の画面に出るログの時刻(処理開始から終了まで)で計算しました。
1回目(日本語・起動して最初の1回):約630ミリ秒
2回目(英語):約25ミリ秒
3回目(日本語をもう一度):約24ミリ秒
1回のリクエストに入れた3問は、別々の枠(スロット)で同時に処理されていました。返ってきた答えの出力トークンは0、入力トークンは日本語301・英語303です。
ここで1つ失敗しました。最初は、コマンドの前後に時刻を表示させて測ろうとしたんです。前後とも同じ時刻が出たので「速すぎて差が出ない」と思ったのですが、違いました。Windowsのコマンドプロンプトは、1行に書いた時刻の表示を実行前にまとめて置き換えるので、前後で同じ値が出るのは当たり前でした。決定モデルの速さは、サーバーのログで見るのが確実です。
🎯 結果2:正しさ ― 3問中1問だけ正解
日本語で聞いた場合
route:宣伝 0.798(要対応 0.079、情報共有 0.123)、confidence 0.697 ❌
urgent:「はい」の確率 0.013 ❌
priority:今日中(score 2.005)、confidence 0.993 ✅
英語で聞いた場合
route:fyi(情報共有)0.478(action_required 0.331、promotion 0.191)、confidence 0.216 ❌
urgent:「はい」の確率 0.245 ❌
priority:score 1.468(this week 0.663)、confidence 0.512 ❌
💡 結果から読めること
日本語の答えには、ねじれがあります。優先度は「今日中」とほぼ確信しているのに、分類は「宣伝」で、今日中の対応も「いいえ」。同じメールを見て、答えがかみ合っていません。
そして注目したいのは confidence(自信の度合い)です。日本語の分類は間違っているのに0.697、英語の分類も間違っていますが0.216でした。
公式ブログは「足切り値を決めて、自信のある答えだけ自動で処理し、残りは人が見る」という使い方を書いています。その使い方だと、英語の答えは人に回ります。日本語の答えは、足切り値の決め方によっては自動処理されてしまいます。自信ありげに間違えるほうが怖い、ということです。
ただし、今日はメール1通だけの結果です。「Julia-1は日本語のメール仕分けに向かない」とまでは言えません。
⏳ Kev-4Bは、ダウンロード30%で時間切れ
Julia-1を止めて、Kev-4Bの起動を始めました。
ファイルは指定しなくても Kev-4B-Q4_K_M.gguf(4ビット量子化)が選ばれた。Julia-1のときはQ8_0だったので、モデルによって選ばれる量子化が違う
ダウンロードが13%・15%・30%で「接続が読めない」と止まり、3回失敗したところで起動をあきらめた
同じコマンドをもう一度打つと、30%から再開した。途中まで落とした分は消えない
30%までに約28分かかり、今日はここで時間切れ
回線が細い人へのヒントです。止まっても同じコマンドを打ち直せば続きから落とせます。それでも進まないときは、ブラウザでHugging Faceのファイルを直接ダウンロードして、`-m ファイルの場所` で起動する方法もあります(今日は試していません)。
✅ 仮説の答え合わせ(昨日決めた5つ)
Julia-1はX1で起動し、`/v1/systemone` に答える → ○
Kev-4BもX1で起動し、同じ質問に答える → 未(ダウンロード30%)
Kev-4Bの振り分けはJulia-1より正しいことが多い → 未
選択肢に説明を付けると振り分けが変わる → 未(今日は説明ありの1通りだけ)
日本語と英語で振り分けに差が出る → Julia-1だけで見ると、差は出た(どちらも外れ。違ったのは自信の度合い)
🧭 まとめ
今日の持ち帰りは3つです。
決定モデルは32GBのノートで軽く動く。Julia-1は2回目から1回約25ミリ秒で、メモリの増え方はタスクマネージャーでは見えなかった
速さはコマンドの時刻表示では測れない。サーバーのログで見る
速くても正しいとは限らない。confidence(自信の度合い)を見て、低いものは人に回す前提で使う
クロコの一言です。
「二五ミリ秒で答えは出るさー。でも、速いのと正しいのは別やっさ。次はKev-4Bに同じメールを読ませてみるよ」
あなたなら、AIの「自信の度合い」がいくつ以上なら、人が見ずに任せますか?
🔗 関連記事
🚀 次回予告
次回は、ダウンロードの続きからKev-4Bを起動します。今日と同じ日本語・英語のメールを投げて、Julia-1と答えを並べます。余裕があれば、選択肢の説明を外したときに振り分けが変わるか(仮説4)も試します。
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。
🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。
【重要】添付画像とキャラクターの対応:
- 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
【デザインコンセプト】
- 背景: 「夜の郵便仕分け場」。高い天井、濃紺の夜空が見える大きな窓、オレンジ色の作業灯。床は落ち着いたグレー
- メインビジュアル:
- 【中央】ベルトの上を光る封筒が次々に流れ、手のひらサイズのロボットが目にも止まらぬ速さで、封筒を3つのかごに振り分けている(速さを表す光の軌跡)
- 【手前】赤い「至急」スタンプの封筒が1通だけ、違うかご(カラフルなチラシが入ったかご)に入りかけている
- 【中央やや右】クロコ(添付1): その封筒を指でつまみ上げ、首をかしげて苦笑いしている
- 【奥の窓の外】空に、半分ほど進んだ細長い進み具合のバー(数字なし)が浮かんでいる
- AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
- クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
- 吹き出し(クロコの頭上に小さく): 「速いけど、そこ違うさー」
- テキスト要素(3段):
- 上段(白・太字・30〜32pt): 「2回目から約25ミリ秒。でも…」
- 中段(特大ゴールド・44〜48pt): 「決定モデルJulia-1 実測」
- 下段(白・細字・20〜22pt): 「X1(32GB)× llama.cpp b11669」
- 装飾: 封筒の光の軌跡、3つのかご、作業灯の光、窓の外の星
- ※封筒・かご・バーには数字や読める文字を描かないこと(「至急」スタンプは赤い印の形だけでよい)
- ※落胆・叱責・×印・涙を連想させる演出は一切入れないこと
- ※使用済みモチーフ禁止: 作業机・物差し・閉じたノートPC・計画表(Day453)/秤・市場広場・風車・温度計・帳面(Day439)/天文台・丸い机・無地の紙(Day449)/受付カウンター・引き出しの棚・書類トレイ(Day448)/図書館の大階段(Day445)
【作成手順】
1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
2. 夜の郵便仕分け場を設定する。濃紺の窓、オレンジの作業灯、グレーの床
3. 中央に封筒の流れるベルトと、振り分ける小さなロボット、3つのかごを配置する
4. 手前に赤いスタンプの封筒が違うかごに入りかける場面を描き、中央やや右のクロコ(添付1と照合)がそれをつまみ上げている姿にする
5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
8. 全体のバランスを確認して完成させる
9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する#YaroTech #ローカルLLM #llamacpp #決定モデル #生成AI #AI活用 #ThinkPad #検証 #Claude #毎日note