
眠っていたArc 140Vを起こしたら、速くしたのは「運び方」だった ― llama.cpp×Vulkanで27Bを再実測
こんにちは!YaroTechです。
一昨日、RAM 32GBのノートPCに27B級(=270億パラメータ級。個人PCにはかなり大きめ)のAIを載せて実測した記事を書きました。
9回すべて完走したものの、生成速度は全体平均で1.61 tok/s。
tok/s(トークン毎秒)は「1秒あたりに生成できる文字のかたまりの数」で、日本語ではだいたい1トークン=1文字前後。つまり1秒に1.6文字ずつしか出てこない速さです。
そのときのハードの働き方は、CPUが54〜76%に対して、内蔵GPU(CPUに同居しているグラフィック機能。Intel Arc 140V)は2〜6%、NPU(AI計算専用の回路)は0%。積んでいるのに、ほとんど寝ているわけです。

一昨日の次回予告では「次はメモリ128GBのデスクトップで夜間バッチ」と書きました。ただ、その前に、同じノートでもう1つ確かめたいことができました。眠っているiGPUに仕事をさせたら、数字は動くのか。今日はその検証です。
結果は、まったく予想と違いました。
※見出し画像のプロンプトは一番下におまけで公開中!
🖥️ 実行環境
ノートPC: ThinkPad X1 Carbon(Windows 11 Home 25H2 / Core Ultra 7 258V / RAM 32GB LPDDR5 / Intel Arc 140V / NPU 48TOPS)
実行ツール: llama.cpp b10456(公式配布の「Windows x64 (Vulkan)」ビルド・2026/08/17リリース・zip約33.2MB)
モデル: Qwen3.8-27B の Unsloth Dynamic GGUF(UD-Q4_K_XL・本体16.69GB)。GGUFはllama.cpp系ソフトで使うモデルファイルの形式、UD-Q4_K_XLは賢さをなるべく保ったまま軽量化(量子化)した版のことです。一昨日Ollamaが取得済みのファイルをそのまま指定し、再ダウンロードは行っていません
計測条件: 思考モードOFF(回答の前にAIが考え事を書き出す機能を止めた状態)、コンテキスト4096(AIが一度に覚えていられる文章量)。一昨日と一字一句同じ3プロンプトを各3回、計9回を3構成ぶん
AI: Claude Desktop(愛称: クロ助)― 手順の整理と計測スクリプトの用意を担当
変えたのはランタイム(AIを動かす実行ソフト)だけです。同じPC、同じモデルファイル、同じプロンプト、同じ思考OFF。そこにGPUへ渡す仕事の量だけを足していく、1変数の実験にしました。
🎯 この記事で得られること
同じモデルでも「実行するソフト」を替えるだけで速度が変わりうる、という実測例
内蔵GPUに仕事を渡す量を増やしたとき、速度が実際にどう動いたか
GPUのメモリ枠に「詰め込めた」のに使えなかった、という具体例
Ollamaで落としたモデルファイルを、再ダウンロードなしで別のソフトから使う方法(コマンド付き)
📊 実際の成果
Before(一昨日): Ollamaで全体平均1.61 tok/s。iGPUは2〜6%しか動いていない。
After(今日): llama.cppに替えただけ(GPUは使わない設定)で全体平均2.56 tok/s。約1.6倍です。
意外だったのはここから。GPUに渡す量を増やすと、2.56 → 2.51 → 2.49 tok/s とわずかずつ下がり、全部渡そうとしたら起動すらしませんでした。
速くしたのはGPUではなく、「運び方」=実行するソフトのほうだった、という結果です。
なお、OllamaはかんたんにローカルAIを使えるアプリで、その内部はllama.cppという土台エンジンでできています。今回はその土台を直接使った形ですが、バージョン・既定設定・サーバー層が異なるので、「Ollamaが悪い」という話ではなく、ランタイム構成の違いとして読んでください。
🚀 実践内容
手順1: Vulkan版を用意して、Arcが見えているか確認する
Vulkan(ブルカン)は、GPUに仕事を頼むための共通規格です。NVIDIA専用のCUDAと違って、IntelやAMDのGPUでも使えるのが特徴。llama.cppはこのVulkan対応版が公式配布されているので、GitHubのReleasesページから取得して展開するだけで使えます。PowerShellなら次の3行です(バージョン番号は執筆時点のもの)。
Invoke-WebRequest -Uri "https://github.com/ggml-org/llama.cpp/releases/download/b10456/llama-b10456-bin-win-vulkan-x64.zip" -OutFile "llama-b10456-bin-win-vulkan-x64.zip"
Expand-Archive -Path "llama-b10456-bin-win-vulkan-x64.zip" -DestinationPath "llama-b10456-bin-win-vulkan-x64"
cd .\llama-b10456-bin-win-vulkan-x64展開したフォルダで、GPUが「見えている」かを確認します。
.\llama-cli.exe --list-devicesうちのX1では `Vulkan0: Intel(R) Arc(TM) 140V GPU (16GB) (18378 MiB, 17610 MiB free)` と表示されました。GPUメモリの枠は約17.9GB。内蔵GPUなので、この枠は本体のメモリ32GBからの割り当て=共有分です。ここが後で効いてきます。
手順2: 一昨日落としたモデルを、再ダウンロードなしで使う
Ollamaの保存フォルダ(既定では `C:\Users\YourName.ollama\models\blobs`)には、拡張子のない「blob」ファイルが並んでいます。この中身は実はそのままのGGUFファイル。なので、llama.cpp側の `-m` オプションでフルパスを指定すれば読み込めます。まずは短い挨拶で動作確認しました。
.\llama-cli.exe -m "C:\Users\YourName\.ollama\models\blobs\sha256-(モデル本体のファイル名)" --device none -ngl 0 -p "こんにちは。ひとことだけ返事してください。"`-ngl` は「モデルを構成する層(レイヤー)のうち何枚をGPUに肩代わりさせるか」の指定です。AIモデルの中身は層の積み重ねでできていて(今回のモデルは全66層)、この肩代わりをオフロードと呼びます。まずは0枚=CPUだけで確認。16.69GBを落とし直さずに済みました。
手順3: llama-server+自動計測で3構成を比べる
本番の計測は対話画面ではなく、`llama-server` を使いました。AIを裏方のサービスとして起動しておき、プログラムから注文を出せる窓口(OpenAI互換API)を開いてくれるツールです。起動コマンドはこちら(計測A: GPUを使わない構成)。
.\llama-server.exe -m "(モデルファイルのフルパス)" --device none -ngl 0 --reasoning-budget 0 -c 4096 --port 8080計測BとCでは `--device none` を外し、`-ngl 20` や `-ngl 40` に差し替えて、GPUへ渡す層の数だけを変えます。あとは窓口に、こんな形の注文(リクエスト)をプログラムから3プロンプト×各3回投げて、返ってくる計測値を記録しました。
POST http://127.0.0.1:8080/v1/chat/completions
{
"messages": [
{"role": "system", "content": "あなたは初音ミクです。明るく元気に返事をしてください。"},
{"role": "user", "content": "こんにちは!今日はどんな気分?"}
],
"max_tokens": 64,
"temperature": 0.7,
"chat_template_kwargs": {"enable_thinking": false}
}ポイントは最後の `chat_template_kwargs` の行。これが思考モードOFFの正式な指定で、一昨日のOllama側の設定(think: false)と同じ意味になり、条件をそろえられます。速度は応答に含まれる timings という項目から取れるので、ストップウォッチは不要です。
計測A(GPUを使わない・CPUのみ)
短い応答: 平均28.01秒 / 2.55 tok/s
中程度の応答: 平均56.19秒 / 2.42 tok/s
長い応答: 平均96.96秒 / 2.72 tok/s
全体平均: 2.56 tok/s
一昨日の1.61 tok/sから、約1.6倍。この時点でGPUは1%しか動いていません。CPUは94〜97%と、8本の作業ライン(スレッド)をほぼ使い切っていました。一昨日のOllamaは54〜76%だったので、ここが1.6倍の正体とみています。メモリ使用率は79〜81%で、利用可能は6GB台。一昨日の171MBに比べれば、ずいぶん息ができています。

計測B(全66層のうち20層をGPUへ)
短い応答: 平均35.99秒 / 2.24 tok/s
中程度の応答: 平均50.93秒 / 2.68 tok/s
長い応答: 平均101.82秒 / 2.60 tok/s
全体平均: 2.51 tok/s
このときタスクマネージャーは、GPU 29%、共有GPUメモリ17.4/17.9GB、CPUも92%前後。Arc 140Vが、初めてちゃんと働いていました。一昨日の2〜6%とは別物です。
なのに、速度は上がりませんでした。むしろ微減です。1回目だけ51.73秒と極端に遅く出ましたが、これはウォームアップぶんと見ています。

計測C(40層をGPUへ)
短い応答: 平均37.14秒 / 2.04 tok/s
中程度の応答: 平均48.38秒 / 2.82 tok/s
長い応答: 平均101.05秒 / 2.63 tok/s
全体平均: 2.49 tok/s
さらに微減です。この計測中はメモリが逼迫して、タスクマネージャーの操作自体が難しくなりました。落ち着いて使用率を読める状態ではなかったので、数値は記録していません。
全部渡したら、起動しなかった
では66層全部を渡したら。起動時に「空きデバイスメモリに収まらない」という警告が出ましたが、処理は進み、共有GPUメモリは17.3/17.9GBまで詰め込み終わります。ところが、そこで静止。GPU使用率は1%のまま、待ち受け状態に到達しませんでした。枠には入りきったのに、動かない。荷物は倉庫に納まったけれど、作業する机を置く場所が残っていない状態です。一昨日は空きメモリが171MBという話でしたが、同じことがGPUメモリの枠でも起きた形です。
なぜ増やすほど遅いのか
起動ログにヒントがありました。`fused Gated Delta Net (chunked) not supported, set to disabled` という行です。今回のモデルは新しいハイブリッド構造を持っていて、その核心にあたる計算がVulkan側で未対応のため、無効化されてCPUに残ります。重い仕事が結局CPUに戻るなら、渡す量を増やしても効きません。そこに内蔵GPU特有の事情が重なります。内蔵GPUはメモリを本体と共有しているので、渡すほどCPUとメモリの通り道(帯域)を取り合う形になるのです。
つまりこれは「Vulkanが遅い」「Arcが力不足」という話ではなく、今回のモデル構造とVulkan対応状況の組み合わせの問題です。対応が進めば、同じ実験でも違う数字が出るはずです。
⚠️ つまずきポイントと解決策
「Loading model...」から10分進まなかった
最初のロードで、メモリ使用率99%・利用可能330MBのまま10分ほど固まりました。常駐アプリを片っ端から閉じて空きを23.5GB確保したら、あっさり通りました。どのアプリが原因かまでは特定できていませんが、閉じたら空いたという事実は残りました。17GB級を扱う日は、先に部屋を空けてから始めるのが正解です。
なお画面の表示は「Loading model...」だけで中が見えません。コマンドの末尾に `-v`(詳細表示)を付けたら、止まっている箇所がすぐ分かりました。待つ前に、まず見えるようにするのが早道です。
GPUを使わない設定にしたのに、GPU用のメモリを確保しようとする
Vulkan版のバイナリは、オフロードを0層に指定しても `Vulkan_Host model buffer size = 16810.03 MiB` という確保を試みます。メモリが埋まっているとここで止まりました。`--device none`(デバイス指定を「なし」にするオプション)を付けたところ、通常のCPU読み込みに戻って解決しました。手順3で計測Aにこのオプションが入っているのは、このためです。
思考モードが、指定しても止まらない
対話モードでは、思考量をゼロにする指定も、`/no_think` という書き方も効きませんでした(後者は普通の文章として読まれてしまいました)。正解は手順3で紹介した、llama-server経由で `chat_template_kwargs` に「思考を無効」を渡す形。ランタイムが変わると、同じ条件をそろえること自体がひと仕事なんですね。
💡 応用例
夜間バッチの処理量が、そのまま1.6倍になる
一昨日の記事で「対話には遅すぎるが、寝ている間の要約や分類なら使える」と書きました。同じ一晩でも、1.6倍のぶんだけ多く処理が終わります。ハードを買い替えず、実行するソフトを替えるだけです。
モデルファイルは、ソフトをまたいで使い回せる
Ollamaで取得したファイルをllama.cppからそのまま読めたので、同じモデルを二重に持たずに済みました。ディスクにも回線にもやさしい方法です。
「今日ダメだった」は、永久にダメではない
GPUオフロードが効かなかった原因は、モデル側の新しい構造にVulkanの対応が追いついていない点にあります。ここは日々更新されている部分なので、数ヶ月後に同じ手順をなぞると別の結果が出る可能性があります。
🔗 関連記事
Day396「挨拶の返事に、1分かかった ― 「計算上は載る」27Bを32GBノートで実測した水曜日」 https://note.com/yaoyoroztech/n/n737a38ca8815
Day395「速さで選ぶのを、やめてみた ― ローカルLLMは「昼・夜・じっくり」の3枠で決めると迷わない」 https://note.com/yaoyoroztech/n/n408abb748c92
Day256「NPU 93%フル稼働!でもCPU+GPUのほうが速い!?【検証編】」 https://note.com/yaoyoroztech/n/n2b17fd2943e9
📝 まとめ
同じPC・同じモデルで、実行するソフトをOllamaからllama.cppに替えただけで、1.61 → 2.56 tok/s(約1.6倍)
GPUに渡す層を増やすほど微減(2.56 → 2.51 → 2.49 tok/s)。モデルの核心の計算がVulkan未対応でCPUに残るのが主因
全66層を渡す指定では、GPUメモリ枠17.9GBのうち17.3GBまで詰め込んだところで起動できず
昼の枠に置けない判定は一昨日から変わらず。ただし夜の枠の処理量が1.6倍になるのは実務的な収穫
継続投稿397日目。眠っていたArc 140Vは、確かに起こせました。GPU使用率29%まで上がって、共有メモリも17.4GBまで埋まって、ちゃんと働いていました。それでも速くならなかった。速さを決めていたのは、荷物を持ち上げる力ではなく、荷物の運び方のほうでした。
🚀 次回予告
次こそ、メモリ128GBのデスクトップPCです。CPUへオフロードする構成で、夜間バッチを一晩まわしてみます。今日出た2.56 tok/sという数字が、環境を変えるとどこまで動くのか。お楽しみに!
🎨 おまけ:見出し画像作成プロンプト
今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!
詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。
【デザインコンセプト】
- 背景: 明るい作業場のような広い室内。壁は淡いティールからウォームグレーへのやわらかいグラデーションで、天井からの自然光でやわらかく明るい
- メインオブジェクト: 画面中央やや右に、擬物化した大きな正方形のチップ(コンピューター部品)を1つ、床に据え置かれた岩のように配置する。表面の回路模様がぼんやり青白く発光し、ちょうど目を覚ましたばかりのような、あたたかい光をまとっている
- メインビジュアル: 20代前半の女性キャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア)が、画面中央やや左で、小さな木製の台車を押している。台車には段ボール箱が3つ積まれている。光っているチップのほうをちらりと振り返り、「起きてくれたのは嬉しいけど、結局運ぶのは私なんだ」という苦笑まじりのやわらかい表情
- カラー: チップから漏れる青白い光と、室内のあたたかいクリーム色の光が床の上で混ざり合う
- 装飾: 床にうっすら伸びる影と、空中にゆっくり漂う小さな光の粒。ストップウォッチ・デスクライト・窓・カレンダー・曜日カード・スタンプカード・ドアは描かない。机の上に複数台の機械を並べない。ゲージやメーターに数字を書かない。実在企業のロゴマークは描かない
- 画像内テキスト: 発光しているチップの台座部分に、小さなプレートの文字として「Arc 140V」と入れる(ロゴマークではなく文字として)
- テキスト3段:
上段(ホワイト・30〜32pt)「眠っていたArc 140Vを、起こした」
中段(ゴールド・44〜48pt)「速くしたのは運び方だった」
下段(ホワイト・細字・20〜22pt)「llama.cpp×Vulkanで27Bを再実測」
【作成手順】
1. スライドサイズ(1536×1024px)の横長フォーマットを設定する
2. 明るい作業場のような広い室内を、淡いティールからウォームグレーへのやわらかいグラデーション背景で設定し、天井からの自然光でやわらかく明るくする
3. 画面中央やや右に、擬物化した大きな正方形のチップ(コンピューター部品)を1つ、床に据え置かれた岩のように配置する。表面の回路模様をぼんやり青白く発光させ、目を覚ましたばかりのようなあたたかい光をまとわせる。台座部分に小さなプレートの文字として「Arc 140V」と入れる
4. 画面中央やや左に、メインビジュアルのキャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア・20代前半の女性)を配置し、段ボール箱を3つ積んだ小さな木製の台車を押しながら、光っているチップのほうをちらりと振り返るポーズにする。表情は苦笑まじりのやわらかい表情にする(添付画像と照合。黒パーカーにヘッドフォンの少年にはしない)
5. 床にうっすら伸びる影と、空中にゆっくり漂う小さな光の粒を散らす。ストップウォッチ・デスクライト・窓・カレンダー・曜日カード・スタンプカード・ドアは描かず、机の上に複数台の機械を並べない。ゲージやメーターに数字は書かない
6. チップから漏れる青白い光と、室内のあたたかいクリーム色の光が床の上で混ざり合うように整え、テキストを3段構成で追加する(上段: 白・太字・30〜32pt「眠っていたArc 140Vを、起こした」/中段: 特大ゴールド・44〜48pt「速くしたのは運び方だった」/下段: 白・細字・20〜22pt「llama.cpp×Vulkanで27Bを再実測」)
7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する(右下ではない)
8. 全体のバランスを確認して完成させる
9. キャラクターの参考画像(AI擬人化\Gemini_Generated_Image_クロ助(Claude Desktop).png)を1枚添付して、人物の一貫性を確保する#YaroTech #ClaudeDesktop #ローカルLLM #生成AI #AI活用 #毎日note #Qwen #llamacpp #Vulkan #IntelArc #LLM #ベンチマーク