メむンコンテンツぞスキップ
芋出し画像

決定モデルKev-4BずJulia-1を同じメヌルで比べた ― 0.77秒で党問正解ず25ミリ秒で倖れ、でも説明を倖したら小さいほうが正解した

    こんにちはYaroTechです。

    昚日は、決定モデル文章を曞かず、遞択肢ごずの確率だけを返すAIのJulia-1をX1で動かしたした。もう1぀のKev-4Bは、ダりンロヌドが30%で止たっお時間切れ。今日はその続きです。

    結論を先に曞きたす。

    • Kev-4Bは、同じ「至急」のメヌルを日本語でも英語でも、3問すべお正しく振り分けた。ただし1回あたり玄0.77秒で、Julia-1の玄30倍の時間がかかった

    • Kev-4Bは初期蚭定のたただず、メモリを玄12.7GB䜿った。起動時に -c 32768 を付けるだけで玄5.3GBになり、答えは小数点以䞋たで同じだった

    • 昚日「宣䌝」ず答えたJulia-1は、遞択肢に付けた説明を倖したら、正しく「芁察応」ず答えた

    3぀目は、公匏ブログの䟋ずは逆の結果でした。順番に曞きたす。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • PC: ThinkPad X1 CarbonCore Ultra 7 258Vメモリ32GBWindows 11 Home 26H2

    • 動かす道具: llama.cpp ビルド11669v0.7.0-dev・win-vulkan-x64版

    • モデル: Kev-4Bファむルは Kev-4B-Q4_K_M.ggufず Julia-1Julia-1-Q8_0.gguf。どちらも量子化は指定せず、自動で遞ばれたもの

    • 時点: 2026幎10月22日。llama.cppは曎新が速いので、ビルドが違うず動きが倉わるこずがありたす

    関連蚘事: 決定モデルJulia-1をX132GBで動かした ― 2回目からは玄25ミリ秒、でも「至急」のメヌルを「宣䌝」に振り分けたKev-4Bはダりンロヌド30%で時間切れが、今日の前線です。


    🎯 この蚘事で埗られるこず

    • 倧きさの違う決定モデル2぀を、同じメヌルで比べた結果正しさず速さ

    • 32GBのノヌトで決定モデルを動かすずき、メモリを7GB以䞊枛らす起動のしかた

    • 遞択肢に「説明」を付けるずきに気を぀けたいこず


    ⏳ Kev-4Bのダりンロヌドは、止たっおも続きから

    昚日30%で止たったKev-4Bは、そのあずも31%、36%、43%、49%、66%ず、䜕床も「接続が読めない」で止たりたした。

    それでも、止たるたびに同じコマンドを打ち盎すず、毎回続きから再開したした。3回目の打ち盎しで100%です。回線が现い環境でも、あきらめずに打ち盎せば萜ずせたす。

    起動するず、読み蟌みは玄8.6秒。昚日のJulia-1は玄2.2秒だったので、4倍近くかかりたした。


    🆚 同じメヌルで2぀を比べた

    お題は昚日ず同じ、架空の「【至急】芋積曞の金額に誀りがありたす」ずいうメヌルです。本文は「明日の瀟内䌚議で䜿うので、本日䞭に修正版を送っおほしい」。聞いたのは3問です。

    1. 分類芁察応情報共有宣䌝それぞれに説明付き

    2. 今日䞭に察応が必芁かはいいいえ

    3. 優先床急がない今週䞭今日䞭今すぐ

    人の目で芋た正解は、芁察応・はい・今日䞭〜今すぐ です。

    Kev-4B日本語

    • 分類芁察応 0.972自信の床合い 0.957✅

    • 今日䞭に察応が必芁か「はい」0.944 ✅

    • 優先床今日䞭 0.574、今すぐ 0.399 ✅

    Kev-4B英語

    • 分類action_required 0.934自信の床合い 0.900✅

    • 今日䞭に察応が必芁か「はい」0.968 ✅

    • 優先床today 0.580、right now 0.377 ✅

    Julia-1昚日の結果

    • 日本語分類は宣䌝 0.798 ❌、今日䞭は「はい」0.013 ❌、優先床は今日䞭 ✅

    • 英語分類は fyi 0.478 ❌、今日䞭は「はい」0.245 ❌、優先床は this week 寄り ❌

    Kev-4Bは日本語も英語も党問正解でした。おもしろいのは、公匏の察応蚀語欄ではKev-4Bは「英語」になっおいるこずです。今回のメヌル1通では、日本語でも英語ずほが同じ答えを返したした1通だけなので、「日本語に察応しおいる」ずたでは蚀えたせん。

    同じ日本語のメヌルを2回投げるず、分類の答えは小数点以䞋たで完党に同じ。ほかの2問は、小数点以䞋4桁目あたりがわずかに違う皋床でした。

    速さはこうですサヌバヌのログで、凊理の開始から終了たでを蚈算。

    • Kev-4B起動しお最初の1回は玄1.98秒、2回目からは玄0.77秒

    • Julia-1起動しお最初の1回は玄630ミリ秒、2回目からは玄25ミリ秒

    2回目以降で比べるず、Kev-4BはJulia-1の玄30倍の時間がかかりたす。そのかわり党郚圓おた、ずいう関係です。


    🧠 32GBのノヌトには重かったメモリ12.7GBが5.3GBに

    Kev-4Bを読み蟌むず、タスクマネヌゞャヌのメモリ䜿甚量は15.3GBから28.0GBに䞊がりたした。玄12.7GBの増加で、残りは3.5GBしかありたせん。昚日のJulia-1は、増えたのが芋えないくらいでした。

    起動ログを芋るず、1枠あたりの文脈の長さ䞀床に読める量が、Kev-4Bは262144トヌクン。Julia-1の8192の32倍です。メヌル1通は玄300トヌクンなので、明らかに倧きすぎたす。

    そこで、文脈の長さを指定しお起動し盎したした。

    llama.exe serve -hf ggml-org/Kev-4B-GGUF --port 8080 -c 32768
    画像
    巊初期蚭定文脈の長さ262144で玄12.7GB増右-c 32768 で玄5.3GB増X1のタスクマネヌゞャヌ

    結果は次のずおりです。

    • メモリの増え方玄12.7GB → 箄5.3GB玄7.4GB枛

    • 答え初期蚭定のずきず、小数点以䞋たで完党に同じ

    • 速さ2回目以降は同じ玄0.78秒。最初の1回の遅さ玄1.98秒が、玄0.81秒にたで瞮んだ理由は確かめおいたせん

    文脈の長さを1/8にしおも、メモリが1/8になるわけではありたせん。モデル本䜓など、別に䜿っおいる分がありたす。それでも、32GBのノヌトで垞駐させるなら、-c は付けたほうがいいず思いたした。


    🔍 遞択肢の「説明」を倖したら、小さいほうが正解した

    昚日から残っおいたのが、「遞択肢に説明を付けるず、振り分けは倉わるか」ずいう仮説です。公匏ブログには、Julia-1は遞択肢がラベルだけだず間違えお、説明を付けたら正しく振り分けた、ずいう英語の䟋が茉っおいたす。

    分類の1問だけにしお、説明ありなしを䞡方のモデルで詊したした。

    • Kev-4B説明あり 芁察応 0.972 ✅説明なし 芁察応 0.971 ✅ほが同じ

    • Julia-1説明あり 宣䌝 0.798 ❌説明なし 芁察応 0.874 ✅

    Julia-1は、説明を倖したら正解したした。公匏の䟋ずは逆です。

    どの説明が悪さをしたのかを知りたくお、説明を1぀ず぀倖しおみたした。

    • 「宣䌝」の説明だけ倖す → 情報共有 0.817 ❌

    • 「芁察応」の説明だけ倖す → 宣䌝 0.991 ❌

    • 「情報共有」の説明だけ倖す → 宣䌝 0.705 ❌

    3぀ずも倖れです。1぀の説明だけが原因、ずいう圢ではありたせんでした。

    芋えたのは2぀の傟向です。説明を空にした遞択肢は、他の遞択肢に説明があるず、確率がほが0たで萜ちる0.001、0.0006、0.00007。そしお「芁察応」は、説明を付けおも、説明付きの他の遞択肢に䞀床も勝おたせんでした。

    メヌル1通での結果なので、理由たでは断定できたせん。ただ、小さいモデルほど説明の曞き方で答えが倧きく揺れる、ずいうこずは蚀えそうです。

    ちなみに、説明を党郚なしにしようずしお遞択肢を名前だけのリストで送ったら、サヌバヌに「criteria は空でないオブゞェクトにするこず」ず断られたした。分類の質問は「名前説明」の圢が必芁で、説明を空にする"芁察応": ""ず通りたす。優先床の質問はリストで通るので、質問の皮類によっお曞き方が違いたす。


    ✅ 仮説の答え合わせ蚭蚈線で立おた5぀

    1. Julia-1はX1で動く → ○

    2. Kev-4BもX1で動く → ○

    3. Kev-4BのほうがJulia-1より正しく振り分ける → ○日本語・英語ずも3問すべお正解

    4. 遞択肢に説明を付けるず振り分けが倉わる → Julia-1は倉わった悪いほうぞ、Kev-4Bは倉わらない

    5. 日本語ず英語で振り分けに差が出る → Julia-1は差あり、Kev-4Bはほが差なし


    💡 真䌌するずきの3぀のヒント

    1. 起動時に -c で文脈の長さを指定する。メヌルのような短い文章なら、初期蚭定の長さは芁りたせん。Kev-4Bでは玄7.4GB枛りたした

    2. 遞択肢の説明は、付けるなら党郚に付ける。䞀郚だけ空にするず、空の遞択肢はほが遞ばれなくなりたした。小さいモデルを䜿うなら、説明ありなしの䞡方で詊す䟡倀がありたす

    3. 結果ファむルはcmdの type で芋ない。日本語が文字化けしたすファむル自䜓は正しく保存されおいたす。メモ垳などで開けば読めたす


    🧭 たずめ

    今日の持ち垰りは3぀です。

    1. 同じメヌルでも、Kev-4Bは党問正解玄0.77秒、Julia-1は倖れ玄25ミリ秒。速さを取るか、正しさを取るか

    2. 32GBのノヌトなら -c を付ける。メモリが玄12.7GB増から玄5.3GB増になり、答えは倉わらなかった

    3. 小さいモデルは、遞択肢の説明で答えが倉わる。説明を倖したら、Julia-1が正解した

    クロコの䞀蚀です。

    「〇・䞃䞃秒で党郚圓おるか、二五ミリ秒で倖すか。でも、説明を倖したら小さいほうも圓おたさヌ。曞き方しだいやっさ」

    あなたなら、速くお時々倖すAIず、30倍遅くおも圓おるAI、どちらを朝のメヌル仕分けに眮きたすか


    🔗 関連蚘事


    🚀 次回予告

    X1での決定モデルの怜蚌は、ここで䞀区切りです。日曜に決めた順番の2番目、メむンPC128GBでNemotron 3.5 Bolt 24GBを動かしたす。

    Julia-1で、説明を党郚付けたたた正解させる曞き方を探す話も、別の日に続けたす。


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたしたクロコの参考画像を1枚添付しお、人物の䞀貫性を確保しおいたす。

    🚚【画像サむズ・最優先の絶察条件】出力ピクセルサむズは必ず「暪2100ピクセル×瞊1005ピクセル」瞊暪比 箄2.1:1のみずしおください。1:1、4:3、3:2、16:9など、指定以倖の比率・サむズでは絶察に出力しないでください。最初に「暪2100×瞊1005」のキャンバスを確定させ、その䞭に収たるように構図を組み立おおください。生成埌にサむズを自己チェックし、ずれおいる堎合は同じ条件で䜜り盎しおください。
    
    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。
    
    【重芁】添付画像ずキャラクタヌの察応
    - 添付1「クロコClaude Code.png」→ クロコ黒パヌカヌ・ヘッドフォン・無造䜜ミディアムヘアの少幎
    クロコは必ず添付画像の倖芋を忠実に再珟しおください。クロ助女性・クリヌム色ニット・䞞県鏡ず取り違えないこず。他のキャラ、五尟の金狐、マヌは登堎させないこず。
    
    【デザむンコンセプト】
    - 背景: 「朝の小さな駅の分岐点」。線路が手前から奥ぞ䌞び、途䞭で2本に分かれおいる。空は淡い氎色から癜ぞのグラデヌション、遠くに䜎い山䞊み
    - メむンビゞュアル:
      - 【巊の線路】倧きめでどっしりした緑色の列車が、ゆっくり正しい方向の線路を進んでいる
      - 【右の線路】小さくお流線圢の癜い列車が、速さを衚す光の軌跡を匕いお走っおいる
      - 【分岐点の手前】行き先を瀺す小さな矢印の案内板が数枚立っおいる文字は描かない
      - 【䞭倮やや右】クロコ添付1: 案内板の1枚を手で倖しお持ち、小さな列車の行き先を芋ながら銖をかしげお埮笑んでいる
    - AI名の明瀺必須: クロコの胞元に、英字で「Claude Code」ず蚘した名札プレヌトをはっきり読めるサむズで描く。実圚ブランドのロゎマヌクは描かず、文字プレヌトのみずする
    - クロコの背埌にたずう光の色: 黒茪郭に沿う控えめな黒の光
    - 吹き出しクロコの頭䞊に小さく: 「倖したら、こっちも正解さヌ」
    - テキスト芁玠3段:
      - 䞊段癜・倪字・30〜32pt・濃い圱付き: 「同じメヌル、2぀の決定モデル」
      - 䞭段特倧ゎヌルド・44〜48pt: 「Kev-4B vs Julia-1」
      - 䞋段癜・现字・20〜22pt・濃い圱付き: 「X132GB× llama.cpp b11669」
    - 装食: 線路の分岐噚、光の軌跡、朝の光、線路脇の小さな草花
    - ※列車・案内板には数字や読める文字を描かないこず
    - ※萜胆・叱責・×印・涙・事故を連想させる挔出は䞀切入れないこず
    - ※䜿甚枈みモチヌフ犁止: 郵䟿仕分け堎・ベルト・かご・封筒Day454䜜業机・物差し・閉じたノヌトPC・蚈画衚Day453秀・垂堎広堎・颚車・枩床蚈・垳面Day439倩文台・䞞い机・無地の玙Day449受付カりンタヌ・匕き出しの棚・曞類トレむDay448図曞通の倧階段Day445
    
    【䜜成手順】
    1. 🚚【サむズ厳守・最優先】キャンバスを厳密に「暪2100ピクセル×瞊1005ピクセル」に固定する。被写䜓やテキストは䞭倮75%の範囲にたずめ、倖偎12〜13%ず぀は背景の空ず山䞊みのみが続く䜙癜にするあずで巊右を1.91:1に切り詰めるため
    2. 朝の駅の分岐点を蚭定する。2本に分かれる線路、淡い空、遠くの山䞊み
    3. 巊の線路に倧きめの緑の列車、右の線路に小さく速い癜い列車を配眮する
    4. 分岐点の手前に文字のない矢印の案内板を立お、䞭倮やや右のクロコ添付1ず照合がその1枚を倖しお持っおいる姿にする
    5. クロコの胞元に英字の名札プレヌト「Claude Code」をはっきり読めるサむズで描き、背埌に控えめな黒の光をたずわせる。ブランドのロゎマヌクは描かない
    6. テキストを3段構成で远加し䞊段: 癜・倪字・30〜32pt䞭段: 特倧ゎヌルド・44〜48pt䞋段: 癜・现字・20〜22pt、クロコの頭䞊に小さな吹き出しを添える。すべお䞭倮75%の範囲に収める
    7. 䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮する
    8. 党䜓のバランスを確認しお完成させる
    9. 🚚 最終確認: 出力サむズが暪2100×瞊1005ピクセルになっおいるかを必ず確認する。違う堎合は同じ内容で再生成する
    10. キャラの参考画像添付1を添付しお人物の䞀貫性を確保する

    #YaroTech #ロヌカルLLM #llamacpp #決定モデル #生成AI #AI掻甚 #ThinkPad #怜蚌 #Claude #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ