メインコンテンツへスキップ
見出し画像

決定モデルJulia-1をX1(32GB)で動かした ― 2回目からは約25ミリ秒、でも「至急」のメールを「宣伝」に振り分けた(Kev-4Bはダウンロード30%で時間切れ)

    こんにちは!YaroTechです。

    昨日の記事では、決定モデル(文章を書かず、選択肢ごとの確率だけを返すAI)をX1で動かす前に、何を測るかを決めました。今日はその実測の回です。

    結論を先に書きます。Julia-1はX1で問題なく動き、2回目からは1回の判定が約25ミリ秒でした。ただ、「至急・本日中に直してほしい」という見積書のメールを、Julia-1は「宣伝」に振り分けました。もう一方のKev-4Bは、ダウンロードが30%まで進んだところで今日の時間切れです。

    速さと正しさは別もの、というのが今日いちばんの発見でした。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • PC: ThinkPad X1 Carbon(Core Ultra 7 258V/メモリ32GB/Windows 11 Home 26H2)

    • 動かす道具: llama.cpp ビルド11669(v0.7.0-dev・win-vulkan-x64版)。更新前はビルド10456

    • 動かしたモデル: Julia-1(ファイルは Julia-1-Q8_0.gguf)

    • 途中まで: Kev-4B(ファイルは Kev-4B-Q4_K_M.gguf・ダウンロード30%)

    • 時点: 2026年10月21日夜。llama.cppは更新が速いので、ビルド番号が違うと動きが変わることがあります

    関連記事: 決定モデルJulia-1とKev-4BをX1(32GB)で動かす前に ― 「しゃべらないAI」はtok/sで測れないので、物差しから決めたで、今日の測り方を決めています。


    🎯 この記事で得られること

    • 決定モデルをWindowsノートで動かす手順(更新→起動→質問を投げる)

    • 決定モデルの「速さ」をどこで測ればいいか(コマンドの時刻表示では測れなかった話)

    • 日本語と英語で同じメールを振り分けさせたら、どう違ったか


    🔧 手順1:llama.cppを更新する

    決定モデル用の入口 `/v1/systemone` は、ビルド11371から使えます。X1に入っていたのはビルド10456だったので、まず更新しました。

    1. GitHubのllama.cppのリリースページから、Windows用の `llama-b11669-bin-win-vulkan-x64.zip`(30.7MB)をダウンロード

    2. 展開して、古いフォルダの隣に置く(古いほうは消さずに残しました)

    3. コマンドプロンプトで `llama-server.exe --version` を打ち、「build 11669」と出ることを確認

    うれしかったのは、展開したフォルダに `llama.exe` が入っていたことです。公式ブログの手順は `llama serve -hf モデル名` という書き方で、これがそのまま使えました。


    🚀 手順2:Julia-1を起動する

    起動はこの1行だけです。

    • `llama.exe serve -hf ggml-org/Julia-1-GGUF --port 8080`

    モデルはHugging Faceから自動でダウンロードされます。わかったことを並べます。

    • ファイルは指定しなくても Julia-1-Q8_0.gguf(8ビット量子化)が選ばれた

    • ダウンロードは約15分(うちの夜の回線での数字です)

    • ダウンロード後、読み込みは約2.2秒

    • ログには「決定モデルなので埋め込みモードにする」という意味の行が出て、型は「laya」と表示された(Julia-1なのにLayaと出るのは少し不思議でした)

    • 「symlinkが作れない」という警告が出たが、管理者権限なしで起動したためで、動作には影響なし

    • タスクマネージャーのメモリは、起動前も起動後も16.1GBのまま。144Mのモデルなので、増えたことがわからないくらいでした


    📨 手順3:架空のメールを振り分けさせる

    昨日決めた質問セット(メール仕分け)から、まず1通を投げました。架空の「【至急】見積書の金額に誤りがあります」というメールで、本文は「明日の社内会議で使うので、本日中に修正版を送ってほしい」です。

    聞いたのは3問です。

    1. route(choice=選択肢から選ぶ):要対応/情報共有/宣伝。それぞれに説明を付けた

    2. urgent(noul=はい/いいえ):今日中に対応が必要か

    3. priority(score=段階):急がない/今週中/今日中/今すぐ

    人の目で見た正解は、要対応・はい・今日中〜今すぐ です。質問はJSONファイルに書いておき、別のコマンドプロンプトからこう送りました。

    curl -s http://127.0.0.1:8080/v1/systemone -H "Content-Type: application/json" --data-binary @req01_mail_ja.json

    同じ内容を英語に訳したファイルも用意して、続けて投げました。


    ⏱️ 結果1:速さ ― 最初の1回だけ遅く、2回目からは約25ミリ秒

    1回の判定時間は、サーバー側の画面に出るログの時刻(処理開始から終了まで)で計算しました。

    • 1回目(日本語・起動して最初の1回):約630ミリ秒

    • 2回目(英語):約25ミリ秒

    • 3回目(日本語をもう一度):約24ミリ秒

    1回のリクエストに入れた3問は、別々の枠(スロット)で同時に処理されていました。返ってきた答えの出力トークンは0、入力トークンは日本語301・英語303です。

    ここで1つ失敗しました。最初は、コマンドの前後に時刻を表示させて測ろうとしたんです。前後とも同じ時刻が出たので「速すぎて差が出ない」と思ったのですが、違いました。Windowsのコマンドプロンプトは、1行に書いた時刻の表示を実行前にまとめて置き換えるので、前後で同じ値が出るのは当たり前でした。決定モデルの速さは、サーバーのログで見るのが確実です。


    🎯 結果2:正しさ ― 3問中1問だけ正解

    日本語で聞いた場合

    • route:宣伝 0.798(要対応 0.079、情報共有 0.123)、confidence 0.697 ❌

    • urgent:「はい」の確率 0.013 ❌

    • priority:今日中(score 2.005)、confidence 0.993 ✅

    英語で聞いた場合

    • route:fyi(情報共有)0.478(action_required 0.331、promotion 0.191)、confidence 0.216 ❌

    • urgent:「はい」の確率 0.245 ❌

    • priority:score 1.468(this week 0.663)、confidence 0.512 ❌


    💡 結果から読めること

    日本語の答えには、ねじれがあります。優先度は「今日中」とほぼ確信しているのに、分類は「宣伝」で、今日中の対応も「いいえ」。同じメールを見て、答えがかみ合っていません。

    そして注目したいのは confidence(自信の度合い)です。日本語の分類は間違っているのに0.697、英語の分類も間違っていますが0.216でした。

    公式ブログは「足切り値を決めて、自信のある答えだけ自動で処理し、残りは人が見る」という使い方を書いています。その使い方だと、英語の答えは人に回ります。日本語の答えは、足切り値の決め方によっては自動処理されてしまいます。自信ありげに間違えるほうが怖い、ということです。

    ただし、今日はメール1通だけの結果です。「Julia-1は日本語のメール仕分けに向かない」とまでは言えません。


    ⏳ Kev-4Bは、ダウンロード30%で時間切れ

    Julia-1を止めて、Kev-4Bの起動を始めました。

    • ファイルは指定しなくても Kev-4B-Q4_K_M.gguf(4ビット量子化)が選ばれた。Julia-1のときはQ8_0だったので、モデルによって選ばれる量子化が違う

    • ダウンロードが13%・15%・30%で「接続が読めない」と止まり、3回失敗したところで起動をあきらめた

    • 同じコマンドをもう一度打つと、30%から再開した。途中まで落とした分は消えない

    • 30%までに約28分かかり、今日はここで時間切れ

    回線が細い人へのヒントです。止まっても同じコマンドを打ち直せば続きから落とせます。それでも進まないときは、ブラウザでHugging Faceのファイルを直接ダウンロードして、`-m ファイルの場所` で起動する方法もあります(今日は試していません)。


    ✅ 仮説の答え合わせ(昨日決めた5つ)

    1. Julia-1はX1で起動し、`/v1/systemone` に答える → ○

    2. Kev-4BもX1で起動し、同じ質問に答える → 未(ダウンロード30%)

    3. Kev-4Bの振り分けはJulia-1より正しいことが多い → 未

    4. 選択肢に説明を付けると振り分けが変わる → 未(今日は説明ありの1通りだけ)

    5. 日本語と英語で振り分けに差が出る → Julia-1だけで見ると、差は出た(どちらも外れ。違ったのは自信の度合い)


    🧭 まとめ

    今日の持ち帰りは3つです。

    1. 決定モデルは32GBのノートで軽く動く。Julia-1は2回目から1回約25ミリ秒で、メモリの増え方はタスクマネージャーでは見えなかった

    2. 速さはコマンドの時刻表示では測れない。サーバーのログで見る

    3. 速くても正しいとは限らない。confidence(自信の度合い)を見て、低いものは人に回す前提で使う

    クロコの一言です。

    「二五ミリ秒で答えは出るさー。でも、速いのと正しいのは別やっさ。次はKev-4Bに同じメールを読ませてみるよ」

    あなたなら、AIの「自信の度合い」がいくつ以上なら、人が見ずに任せますか?


    🔗 関連記事


    🚀 次回予告

    次回は、ダウンロードの続きからKev-4Bを起動します。今日と同じ日本語・英語のメールを投げて、Julia-1と答えを並べます。余裕があれば、選択肢の説明を外したときに振り分けが変わるか(仮説4)も試します。


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!クロコの参考画像を1枚添付して、人物の一貫性を確保しています。

    🚨【画像サイズ・最優先の絶対条件】出力ピクセルサイズは必ず「横2100ピクセル×縦1005ピクセル」(縦横比 約2.1:1)のみとしてください。1:1、4:3、3:2、16:9など、指定以外の比率・サイズでは絶対に出力しないでください。最初に「横2100×縦1005」のキャンバスを確定させ、その中に収まるように構図を組み立ててください。生成後にサイズを自己チェックし、ずれている場合は同じ条件で作り直してください。
    
    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。
    
    【重要】添付画像とキャラクターの対応:
    - 添付1「クロコ(Claude Code).png」→ クロコ(黒パーカー・ヘッドフォン・無造作ミディアムヘアの少年)
    クロコは必ず添付画像の外見を忠実に再現してください。クロ助(女性・クリーム色ニット・丸眼鏡)と取り違えないこと。他のキャラ、五尾の金狐、マヌは登場させないこと。
    
    【デザインコンセプト】
    - 背景: 「夜の郵便仕分け場」。高い天井、濃紺の夜空が見える大きな窓、オレンジ色の作業灯。床は落ち着いたグレー
    - メインビジュアル:
      - 【中央】ベルトの上を光る封筒が次々に流れ、手のひらサイズのロボットが目にも止まらぬ速さで、封筒を3つのかごに振り分けている(速さを表す光の軌跡)
      - 【手前】赤い「至急」スタンプの封筒が1通だけ、違うかご(カラフルなチラシが入ったかご)に入りかけている
      - 【中央やや右】クロコ(添付1): その封筒を指でつまみ上げ、首をかしげて苦笑いしている
      - 【奥の窓の外】空に、半分ほど進んだ細長い進み具合のバー(数字なし)が浮かんでいる
    - AI名の明示(必須): クロコの胸元に、英字で「Claude Code」と記した名札プレートをはっきり読めるサイズで描く。実在ブランドのロゴマークは描かず、文字プレートのみとする
    - クロコの背後にまとう光の色: 黒(輪郭に沿う控えめな黒の光)
    - 吹き出し(クロコの頭上に小さく): 「速いけど、そこ違うさー」
    - テキスト要素(3段):
      - 上段(白・太字・30〜32pt): 「2回目から約25ミリ秒。でも…」
      - 中段(特大ゴールド・44〜48pt): 「決定モデルJulia-1 実測」
      - 下段(白・細字・20〜22pt): 「X1(32GB)× llama.cpp b11669」
    - 装飾: 封筒の光の軌跡、3つのかご、作業灯の光、窓の外の星
    - ※封筒・かご・バーには数字や読める文字を描かないこと(「至急」スタンプは赤い印の形だけでよい)
    - ※落胆・叱責・×印・涙を連想させる演出は一切入れないこと
    - ※使用済みモチーフ禁止: 作業机・物差し・閉じたノートPC・計画表(Day453)/秤・市場広場・風車・温度計・帳面(Day439)/天文台・丸い机・無地の紙(Day449)/受付カウンター・引き出しの棚・書類トレイ(Day448)/図書館の大階段(Day445)
    
    【作成手順】
    1. 🚨【サイズ厳守・最優先】キャンバスを厳密に「横2100ピクセル×縦1005ピクセル」に固定する。被写体やテキストは中央75%の範囲にまとめ、外側12〜13%ずつは背景のみが続く余白にする(あとで左右を1.91:1に切り詰めるため)
    2. 夜の郵便仕分け場を設定する。濃紺の窓、オレンジの作業灯、グレーの床
    3. 中央に封筒の流れるベルトと、振り分ける小さなロボット、3つのかごを配置する
    4. 手前に赤いスタンプの封筒が違うかごに入りかける場面を描き、中央やや右のクロコ(添付1と照合)がそれをつまみ上げている姿にする
    5. クロコの胸元に英字の名札プレート「Claude Code」をはっきり読めるサイズで描き、背後に控えめな黒の光をまとわせる。ブランドのロゴマークは描かない
    6. テキストを3段構成で追加し(上段: 白・太字・30〜32pt/中段: 特大ゴールド・44〜48pt/下段: 白・細字・20〜22pt)、クロコの頭上に小さな吹き出しを添える。すべて中央75%の範囲に収める
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する
    8. 全体のバランスを確認して完成させる
    9. 🚨 最終確認: 出力サイズが横2100×縦1005ピクセルになっているかを必ず確認する。違う場合は同じ内容で再生成する
    10. キャラの参考画像(添付1)を添付して人物の一貫性を確保する

    #YaroTech #ローカルLLM #llamacpp #決定モデル #生成AI #AI活用 #ThinkPad #検証 #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ