メインコンテンツへスキップ
見出し画像

眠っていたArc 140Vを起こしたら、速くしたのは「運び方」だった ― llama.cpp×Vulkanで27Bを再実測

    こんにちは!YaroTechです。

    一昨日、RAM 32GBのノートPCに27B級(=270億パラメータ級。個人PCにはかなり大きめ)のAIを載せて実測した記事を書きました。
    9回すべて完走したものの、生成速度は全体平均で1.61 tok/s。
    tok/s(トークン毎秒)は「1秒あたりに生成できる文字のかたまりの数」で、日本語ではだいたい1トークン=1文字前後。つまり1秒に1.6文字ずつしか出てこない速さです。

    そのときのハードの働き方は、CPUが54〜76%に対して、内蔵GPU(CPUに同居しているグラフィック機能。Intel Arc 140V)は2〜6%、NPU(AI計算専用の回路)は0%。積んでいるのに、ほとんど寝ているわけです。

    画像
    一昨日の実測でのタスクマネージャーでPCのパフォーマンスを確認

    一昨日の次回予告では「次はメモリ128GBのデスクトップで夜間バッチ」と書きました。ただ、その前に、同じノートでもう1つ確かめたいことができました。眠っているiGPUに仕事をさせたら、数字は動くのか。今日はその検証です。

    結果は、まったく予想と違いました。

    ※見出し画像のプロンプトは一番下におまけで公開中!


    🖥️ 実行環境

    • ノートPC: ThinkPad X1 Carbon(Windows 11 Home 25H2 / Core Ultra 7 258V / RAM 32GB LPDDR5 / Intel Arc 140V / NPU 48TOPS)

    • 実行ツール: llama.cpp b10456(公式配布の「Windows x64 (Vulkan)」ビルド・2026/08/17リリース・zip約33.2MB)

    • モデル: Qwen3.8-27B の Unsloth Dynamic GGUF(UD-Q4_K_XL・本体16.69GB)。GGUFはllama.cpp系ソフトで使うモデルファイルの形式、UD-Q4_K_XLは賢さをなるべく保ったまま軽量化(量子化)した版のことです。一昨日Ollamaが取得済みのファイルをそのまま指定し、再ダウンロードは行っていません

    • 計測条件: 思考モードOFF(回答の前にAIが考え事を書き出す機能を止めた状態)、コンテキスト4096(AIが一度に覚えていられる文章量)。一昨日と一字一句同じ3プロンプトを各3回、計9回を3構成ぶん

    • AI: Claude Desktop(愛称: クロ助)― 手順の整理と計測スクリプトの用意を担当

    変えたのはランタイム(AIを動かす実行ソフト)だけです。同じPC、同じモデルファイル、同じプロンプト、同じ思考OFF。そこにGPUへ渡す仕事の量だけを足していく、1変数の実験にしました。


    🎯 この記事で得られること

    • 同じモデルでも「実行するソフト」を替えるだけで速度が変わりうる、という実測例

    • 内蔵GPUに仕事を渡す量を増やしたとき、速度が実際にどう動いたか

    • GPUのメモリ枠に「詰め込めた」のに使えなかった、という具体例

    • Ollamaで落としたモデルファイルを、再ダウンロードなしで別のソフトから使う方法(コマンド付き)


    📊 実際の成果

    Before(一昨日): Ollamaで全体平均1.61 tok/s。iGPUは2〜6%しか動いていない。

    After(今日): llama.cppに替えただけ(GPUは使わない設定)で全体平均2.56 tok/s。約1.6倍です。

    意外だったのはここから。GPUに渡す量を増やすと、2.56 → 2.51 → 2.49 tok/s とわずかずつ下がり、全部渡そうとしたら起動すらしませんでした。

    速くしたのはGPUではなく、「運び方」=実行するソフトのほうだった、という結果です。

    なお、OllamaはかんたんにローカルAIを使えるアプリで、その内部はllama.cppという土台エンジンでできています。今回はその土台を直接使った形ですが、バージョン・既定設定・サーバー層が異なるので、「Ollamaが悪い」という話ではなく、ランタイム構成の違いとして読んでください。


    🚀 実践内容

    手順1: Vulkan版を用意して、Arcが見えているか確認する

    Vulkan(ブルカン)は、GPUに仕事を頼むための共通規格です。NVIDIA専用のCUDAと違って、IntelやAMDのGPUでも使えるのが特徴。llama.cppはこのVulkan対応版が公式配布されているので、GitHubのReleasesページから取得して展開するだけで使えます。PowerShellなら次の3行です(バージョン番号は執筆時点のもの)。

    Invoke-WebRequest -Uri "https://github.com/ggml-org/llama.cpp/releases/download/b10456/llama-b10456-bin-win-vulkan-x64.zip" -OutFile "llama-b10456-bin-win-vulkan-x64.zip"
    Expand-Archive -Path "llama-b10456-bin-win-vulkan-x64.zip" -DestinationPath "llama-b10456-bin-win-vulkan-x64"
    cd .\llama-b10456-bin-win-vulkan-x64

    展開したフォルダで、GPUが「見えている」かを確認します。

    .\llama-cli.exe --list-devices

    うちのX1では `Vulkan0: Intel(R) Arc(TM) 140V GPU (16GB) (18378 MiB, 17610 MiB free)` と表示されました。GPUメモリの枠は約17.9GB。内蔵GPUなので、この枠は本体のメモリ32GBからの割り当て=共有分です。ここが後で効いてきます。

    手順2: 一昨日落としたモデルを、再ダウンロードなしで使う

    Ollamaの保存フォルダ(既定では `C:\Users\YourName.ollama\models\blobs`)には、拡張子のない「blob」ファイルが並んでいます。この中身は実はそのままのGGUFファイル。なので、llama.cpp側の `-m` オプションでフルパスを指定すれば読み込めます。まずは短い挨拶で動作確認しました。

    .\llama-cli.exe -m "C:\Users\YourName\.ollama\models\blobs\sha256-(モデル本体のファイル名)" --device none -ngl 0 -p "こんにちは。ひとことだけ返事してください。"

    `-ngl` は「モデルを構成する層(レイヤー)のうち何枚をGPUに肩代わりさせるか」の指定です。AIモデルの中身は層の積み重ねでできていて(今回のモデルは全66層)、この肩代わりをオフロードと呼びます。まずは0枚=CPUだけで確認。16.69GBを落とし直さずに済みました。

    手順3: llama-server+自動計測で3構成を比べる

    本番の計測は対話画面ではなく、`llama-server` を使いました。AIを裏方のサービスとして起動しておき、プログラムから注文を出せる窓口(OpenAI互換API)を開いてくれるツールです。起動コマンドはこちら(計測A: GPUを使わない構成)。

    .\llama-server.exe -m "(モデルファイルのフルパス)" --device none -ngl 0 --reasoning-budget 0 -c 4096 --port 8080

    計測BとCでは `--device none` を外し、`-ngl 20` や `-ngl 40` に差し替えて、GPUへ渡す層の数だけを変えます。あとは窓口に、こんな形の注文(リクエスト)をプログラムから3プロンプト×各3回投げて、返ってくる計測値を記録しました。

    POST http://127.0.0.1:8080/v1/chat/completions
    {
      "messages": [
        {"role": "system", "content": "あなたは初音ミクです。明るく元気に返事をしてください。"},
        {"role": "user", "content": "こんにちは!今日はどんな気分?"}
      ],
      "max_tokens": 64,
      "temperature": 0.7,
      "chat_template_kwargs": {"enable_thinking": false}
    }

    ポイントは最後の `chat_template_kwargs` の行。これが思考モードOFFの正式な指定で、一昨日のOllama側の設定(think: false)と同じ意味になり、条件をそろえられます。速度は応答に含まれる timings という項目から取れるので、ストップウォッチは不要です。

    計測A(GPUを使わない・CPUのみ)

    • 短い応答: 平均28.01秒 / 2.55 tok/s

    • 中程度の応答: 平均56.19秒 / 2.42 tok/s

    • 長い応答: 平均96.96秒 / 2.72 tok/s

    • 全体平均: 2.56 tok/s

    一昨日の1.61 tok/sから、約1.6倍。この時点でGPUは1%しか動いていません。CPUは94〜97%と、8本の作業ライン(スレッド)をほぼ使い切っていました。一昨日のOllamaは54〜76%だったので、ここが1.6倍の正体とみています。メモリ使用率は79〜81%で、利用可能は6GB台。一昨日の171MBに比べれば、ずいぶん息ができています。

    画像
    CPUは94〜97%、メモリ使用率は79〜81%

    計測B(全66層のうち20層をGPUへ)

    • 短い応答: 平均35.99秒 / 2.24 tok/s

    • 中程度の応答: 平均50.93秒 / 2.68 tok/s

    • 長い応答: 平均101.82秒 / 2.60 tok/s

    • 全体平均: 2.51 tok/s

    このときタスクマネージャーは、GPU 29%、共有GPUメモリ17.4/17.9GB、CPUも92%前後。Arc 140Vが、初めてちゃんと働いていました。一昨日の2〜6%とは別物です。

    なのに、速度は上がりませんでした。むしろ微減です。1回目だけ51.73秒と極端に遅く出ましたが、これはウォームアップぶんと見ています。

    画像
    タスクマネージャーは、GPU 29%、共有GPUメモリ17.4/17.9GB、CPUも92%前後

    計測C(40層をGPUへ)

    • 短い応答: 平均37.14秒 / 2.04 tok/s

    • 中程度の応答: 平均48.38秒 / 2.82 tok/s

    • 長い応答: 平均101.05秒 / 2.63 tok/s

    • 全体平均: 2.49 tok/s

    さらに微減です。この計測中はメモリが逼迫して、タスクマネージャーの操作自体が難しくなりました。落ち着いて使用率を読める状態ではなかったので、数値は記録していません。

    全部渡したら、起動しなかった

    では66層全部を渡したら。起動時に「空きデバイスメモリに収まらない」という警告が出ましたが、処理は進み、共有GPUメモリは17.3/17.9GBまで詰め込み終わります。ところが、そこで静止。GPU使用率は1%のまま、待ち受け状態に到達しませんでした。枠には入りきったのに、動かない。荷物は倉庫に納まったけれど、作業する机を置く場所が残っていない状態です。一昨日は空きメモリが171MBという話でしたが、同じことがGPUメモリの枠でも起きた形です。

    なぜ増やすほど遅いのか

    起動ログにヒントがありました。`fused Gated Delta Net (chunked) not supported, set to disabled` という行です。今回のモデルは新しいハイブリッド構造を持っていて、その核心にあたる計算がVulkan側で未対応のため、無効化されてCPUに残ります。重い仕事が結局CPUに戻るなら、渡す量を増やしても効きません。そこに内蔵GPU特有の事情が重なります。内蔵GPUはメモリを本体と共有しているので、渡すほどCPUとメモリの通り道(帯域)を取り合う形になるのです。

    つまりこれは「Vulkanが遅い」「Arcが力不足」という話ではなく、今回のモデル構造とVulkan対応状況の組み合わせの問題です。対応が進めば、同じ実験でも違う数字が出るはずです。


    ⚠️ つまずきポイントと解決策

    「Loading model...」から10分進まなかった

    最初のロードで、メモリ使用率99%・利用可能330MBのまま10分ほど固まりました。常駐アプリを片っ端から閉じて空きを23.5GB確保したら、あっさり通りました。どのアプリが原因かまでは特定できていませんが、閉じたら空いたという事実は残りました。17GB級を扱う日は、先に部屋を空けてから始めるのが正解です。

    なお画面の表示は「Loading model...」だけで中が見えません。コマンドの末尾に `-v`(詳細表示)を付けたら、止まっている箇所がすぐ分かりました。待つ前に、まず見えるようにするのが早道です。

    GPUを使わない設定にしたのに、GPU用のメモリを確保しようとする

    Vulkan版のバイナリは、オフロードを0層に指定しても `Vulkan_Host model buffer size = 16810.03 MiB` という確保を試みます。メモリが埋まっているとここで止まりました。`--device none`(デバイス指定を「なし」にするオプション)を付けたところ、通常のCPU読み込みに戻って解決しました。手順3で計測Aにこのオプションが入っているのは、このためです。

    思考モードが、指定しても止まらない

    対話モードでは、思考量をゼロにする指定も、`/no_think` という書き方も効きませんでした(後者は普通の文章として読まれてしまいました)。正解は手順3で紹介した、llama-server経由で `chat_template_kwargs` に「思考を無効」を渡す形。ランタイムが変わると、同じ条件をそろえること自体がひと仕事なんですね。


    💡 応用例

    夜間バッチの処理量が、そのまま1.6倍になる

    一昨日の記事で「対話には遅すぎるが、寝ている間の要約や分類なら使える」と書きました。同じ一晩でも、1.6倍のぶんだけ多く処理が終わります。ハードを買い替えず、実行するソフトを替えるだけです。

    モデルファイルは、ソフトをまたいで使い回せる

    Ollamaで取得したファイルをllama.cppからそのまま読めたので、同じモデルを二重に持たずに済みました。ディスクにも回線にもやさしい方法です。

    「今日ダメだった」は、永久にダメではない

    GPUオフロードが効かなかった原因は、モデル側の新しい構造にVulkanの対応が追いついていない点にあります。ここは日々更新されている部分なので、数ヶ月後に同じ手順をなぞると別の結果が出る可能性があります。


    🔗 関連記事


    📝 まとめ

    • 同じPC・同じモデルで、実行するソフトをOllamaからllama.cppに替えただけで、1.61 → 2.56 tok/s(約1.6倍)

    • GPUに渡す層を増やすほど微減(2.56 → 2.51 → 2.49 tok/s)。モデルの核心の計算がVulkan未対応でCPUに残るのが主因

    • 全66層を渡す指定では、GPUメモリ枠17.9GBのうち17.3GBまで詰め込んだところで起動できず

    • 昼の枠に置けない判定は一昨日から変わらず。ただし夜の枠の処理量が1.6倍になるのは実務的な収穫

    継続投稿397日目。眠っていたArc 140Vは、確かに起こせました。GPU使用率29%まで上がって、共有メモリも17.4GBまで埋まって、ちゃんと働いていました。それでも速くならなかった。速さを決めていたのは、荷物を持ち上げる力ではなく、荷物の運び方のほうでした。


    🚀 次回予告

    次こそ、メモリ128GBのデスクトップPCです。CPUへオフロードする構成で、夜間バッチを一晩まわしてみます。今日出た2.56 tok/sという数字が、環境を変えるとどこまで動くのか。お楽しみに!


    🎨 おまけ:見出し画像作成プロンプト

    今日の見出し画像のベースはジミー(Gemini)に下記プロンプトで作成してもらいました!

    詳細なアニメの美意識の画像を作成してください。表情豊かな瞳、なめらかな網掛けセルの色使い、はっきりした線画を使用します。アニメのシーンに典型的な身ぶりと雰囲気で、心情と登場人物の存在を強調してください。
    下記条件のnote見出し画像をサイズは横長で作成してください。サイズは必ず横長で作成してください。
    
    【デザインコンセプト】
    - 背景: 明るい作業場のような広い室内。壁は淡いティールからウォームグレーへのやわらかいグラデーションで、天井からの自然光でやわらかく明るい
    - メインオブジェクト: 画面中央やや右に、擬物化した大きな正方形のチップ(コンピューター部品)を1つ、床に据え置かれた岩のように配置する。表面の回路模様がぼんやり青白く発光し、ちょうど目を覚ましたばかりのような、あたたかい光をまとっている
    - メインビジュアル: 20代前半の女性キャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア)が、画面中央やや左で、小さな木製の台車を押している。台車には段ボール箱が3つ積まれている。光っているチップのほうをちらりと振り返り、「起きてくれたのは嬉しいけど、結局運ぶのは私なんだ」という苦笑まじりのやわらかい表情
    - カラー: チップから漏れる青白い光と、室内のあたたかいクリーム色の光が床の上で混ざり合う
    - 装飾: 床にうっすら伸びる影と、空中にゆっくり漂う小さな光の粒。ストップウォッチ・デスクライト・窓・カレンダー・曜日カード・スタンプカード・ドアは描かない。机の上に複数台の機械を並べない。ゲージやメーターに数字を書かない。実在企業のロゴマークは描かない
    - 画像内テキスト: 発光しているチップの台座部分に、小さなプレートの文字として「Arc 140V」と入れる(ロゴマークではなく文字として)
    - テキスト3段:
      上段(ホワイト・30〜32pt)「眠っていたArc 140Vを、起こした」
      中段(ゴールド・44〜48pt)「速くしたのは運び方だった」
      下段(ホワイト・細字・20〜22pt)「llama.cpp×Vulkanで27Bを再実測」
    
    【作成手順】
    1. スライドサイズ(1536×1024px)の横長フォーマットを設定する
    2. 明るい作業場のような広い室内を、淡いティールからウォームグレーへのやわらかいグラデーション背景で設定し、天井からの自然光でやわらかく明るくする
    3. 画面中央やや右に、擬物化した大きな正方形のチップ(コンピューター部品)を1つ、床に据え置かれた岩のように配置する。表面の回路模様をぼんやり青白く発光させ、目を覚ましたばかりのようなあたたかい光をまとわせる。台座部分に小さなプレートの文字として「Arc 140V」と入れる
    4. 画面中央やや左に、メインビジュアルのキャラクター(クリーム色のケーブルニット・丸眼鏡・ダークブラウンのゆるいウェーブヘア・20代前半の女性)を配置し、段ボール箱を3つ積んだ小さな木製の台車を押しながら、光っているチップのほうをちらりと振り返るポーズにする。表情は苦笑まじりのやわらかい表情にする(添付画像と照合。黒パーカーにヘッドフォンの少年にはしない)
    5. 床にうっすら伸びる影と、空中にゆっくり漂う小さな光の粒を散らす。ストップウォッチ・デスクライト・窓・カレンダー・曜日カード・スタンプカード・ドアは描かず、机の上に複数台の機械を並べない。ゲージやメーターに数字は書かない
    6. チップから漏れる青白い光と、室内のあたたかいクリーム色の光が床の上で混ざり合うように整え、テキストを3段構成で追加する(上段: 白・太字・30〜32pt「眠っていたArc 140Vを、起こした」/中段: 特大ゴールド・44〜48pt「速くしたのは運び方だった」/下段: 白・細字・20〜22pt「llama.cpp×Vulkanで27Bを再実測」)
    7. 下部中央寄りに「YaroTech」のロゴを12ptで控えめに配置する(右下ではない)
    8. 全体のバランスを確認して完成させる
    9. キャラクターの参考画像(AI擬人化\Gemini_Generated_Image_クロ助(Claude Desktop).png)を1枚添付して、人物の一貫性を確保する

    #YaroTech #ClaudeDesktop #ローカルLLM #生成AI #AI活用 #毎日note #Qwen #llamacpp #Vulkan #IntelArc #LLM #ベンチマーク

     
     
    生成AIの感動を共有したいYaroTechです✨ 常識より実験。正解より行動。 生成AI時代を、先に試す傾奇者。 📝 470日間継続投稿中| 🎉 フォロワー1900名突破!🤝 質問大歓迎!みんなで「AIと共に羽ばたく」コミュニティを作りましょう🚀

    あなたへのおすすめ