メインコンテンツへスキップ
見出し画像

GGUF は全部メインメモリに載らなくても動く。Abyss を自分の PC で使うまで 284B の DeepSeek V4 Flash を GPU 1枚で使う。

    Abyss の記事を読んだ方から、質問をもらいました。「GGUF はすべてメインメモリに載らないといけないのか。一部が SSD でも動くのか」というものです。

    答えは「全部載らなくても動きます。ただし足りない分は SSD から読むので、遅くなります」です。

    Abyss は、284B の DeepSeek V4 Flash を GPU 1枚で動かすために作った推論エンジンです。これまでの6本はどれも開発の記録で、使い方の入口がありませんでした。そこで今回は、この質問を軸に自分の使い方をまとめます。時点は v1.3.17 です。

    なお Abyss は Project Maya をコピーして作ったもので、Maya は Strata というエンジンから生まれています。画面に Maya の表記が残っていたり、設定名が STRATA_ で始まったりするのはそのためです。

    GGUF はメインメモリに全部載せないといけないのか

    使っているモデルは、unsloth の UD-Q2_K_XL です。3ファイルで96.8GB あります。

    このうち、GPU に必ず置くのは密な重みの6.2GB と、キャッシュなどです。残りの89.8GB は、11,008個のエキスパートです。DeepSeek V4 は MoE なので、1トークンで使うのは、各層256個のうち6個だけです。

    Abyss は、このエキスパートを VRAM、RAM、SSD の順に置きます。VRAM と RAM で約100GB あれば、全部がメモリに入ります。少なければ、入りきらない分を使うたびに SSD から読みます。

    エキスパートは VRAM、RAM、SSD の順に置かれる

    置き場所は3層です。図1にまとめました。

    画像

    1層目は GPU の VRAM です。うちの RTX 5090 で文脈65,536トークンにすると、密な重みなどで先に7.62GB が埋まります。さらにアテンションのキャッシュが0.44GB です。残った22.87GB に、エキスパートが3,010個入ります。

    2層目は pinned RAM(固定したメモリ)です。大きさは「空き RAM から一定量を残した分」で自動に決まります。残す量は、CUDA では6GB、Radeon の APU 単体(HIP)では16GB です。うちの機では69.66GB になりました。

    3層目が SSD です。上の2層に入りきらない分は、GGUF のファイルに残したまま必要なときに読みます。

    置き場所は使用回数で決まります。回数は pack フォルダの expert_usage.txt に記録されます。次の起動では、回数の多い順に VRAM、RAM と詰めます。動いている間も、RAM 側のエキスパートが VRAM 側より十分よく使われれば入れ替えます。目安は、RAM 側の使用回数が VRAM 側の4倍+16を超えたときです。

    RAM 層にあるエキスパートの計算方法は、起動時に測って決めます。うちの機での実測は次のとおりです。

    • PCIe で GPU に送ると、1個1.2ms

    • CPU で計算すると、1個0.107ms

    • 内蔵 GPU(Radeon 8060S)で計算すると、1個0.046ms

    送るより RAM の上で計算するほうが速いのです。うちの Ryzen AI Max+ 395 では、内蔵の Radeon 8060S が CPU と同じ RAM を約240GB/s で読めます。CPU から読むと約75GB/s です。そこで RAM 層をコピーせずに内蔵 GPU に登録し、計算させています。これを「iGPU レーン」と呼んでいます。

    iGPU レーンには ROCm 7 が要ります。なければ CPU が計算するので、内蔵 GPU がない PC でも動きます。

    その分、遅くはなります。v1.3.8 時点の比較では、8K の文脈での生成が、5090+内蔵 GPU の毎秒58.5トークンに対し、5090 だけでは48.6トークンでした。

    自分の構成で動くかの目安

    ここからは構成ごとの実測です。測った版も書きます。図2は、11,008個のエキスパートがどこに置かれたかの内訳です。

    画像

    いちばん測っているのは、うちの基本構成です。RTX 5090(PCIe Gen4 x4)に Ryzen AI Max+ 395、RAM 94GB を組み合わせています。全エキスパートが VRAM 23GB と RAM 70GB に入り、SSD は読みません。v1.3.16 で、1,024トークンを生成したときの速さは毎秒約82〜84トークンです。125K の文脈でも約65トークン出ます。プロンプトの読み込みは、8K で約1,630〜1,760、32K で約3,100〜3,270トークンでした。起動は約1分です。

    RTX 3090(VRAM 24GB)に差し替えても、SSD は読みません。VRAM に入るエキスパートは2,021個に減り、残りは全部 RAM です。v1.3.15 で、生成は毎秒約48〜50トークンでした。5090 の0.54〜0.59倍です。ただしこれは USB4 の外付けケース(約3.8GB/s)での値で、PCIe 直挿しの数字はありません。

    5090 と 3090 の2枚に分ける設定は、v1.3.8 で試しました。生成は8K で54.9、32K で56.7トークンです。同じ時点の 5090 1枚(+内蔵 GPU)は58.5と65.9で、2枚目を足しても速くなりませんでした。分割では投機デコードと、プロンプト用の事前転送も使えません。

    SSD から読んだ実測は、Radeon 8060S 単体(HIP、v1.3.11)の1件だけです。エキスパートの約77%(約8,520個)がメモリに入り、残り約2,490個(約20GB)を SSD から読んでいます。プロンプトの読み込みは、3K で毎秒120、7K で154トークンでした。生成の速さは測っていません。

    「メモリをどこまで減らすと、どれだけ遅くなるか」は、段階的に測っていません。8060S の1件は GPU も違うので、SSD の影響だけの数字ではありません。

    速さと確認状況の早見表は図3です。

    画像

    V100 は、ビルドが通ることまでしか確かめていません。DeepSeek V4 ではまだ動かしていないので、速さは書けません。RX 7900 などのディスクリート Radeon も未実行です。

    参考までに、同じマシン・同じ GGUF の llama.cpp も載せておきます。2026-10-13 に測ったもので、最速だった設定(-ngl 99 -ncmoe 32)で生成が毎秒28〜30トークンでした。Abyss の約3分の1です。

    この llama.cpp も、最初は mmap の既定のままで RAM が足りず、重みがページキャッシュから追い出されて毎秒6.75トークンまで落ちていました。全部載らなくても動くが遅くなる、という点は llama.cpp でも同じです。

    まとめると、VRAM と RAM の合計が約100GB あれば SSD を読まずに動きます。少なくても動きますが、遅くなります。最小の VRAM の目安も決めていません。確認したのは24GB と32GB だけです。

    導入は setup-deepseek.sh 1本

    必要なものは次のとおりです。

    • Linux(Ubuntu で確認。Windows は未確認)

    • NVIDIA の GPU(compute capability 7.0 以上)

    • CUDA 13.x(確認は13.3。V100 は12.9 を --nvcc で指定)

    • g++ と Python 3.10 以上

    • NVMe に約100GB の空き

    ROCm 7 は iGPU レーンを使うときだけ要ります。

    手順は4行です。

    git clone https://github.com/zephel01/Abyss.git ~/llm/apps/Abyss
    cd ~/llm/apps/Abyss
    ./setup-deepseek.sh --download-model   # エンジン、モデル(96.8GB)、pack、設定、Abyss-tools
    ../Abyss-tools/abyss.sh start          # → http://127.0.0.1:8082/

    setup-deepseek.sh は、7つの段を順に進めます。図4に、導入から使うまでの流れを描きました。

    画像

    最初に PC をチェックして、GPU、VRAM、RAM を表示します。次に Python のパッケージと、固定したコミットの llama.cpp のソースをそろえます。3段目がエンジンのビルドで、初回は数分かかります。

    4段目がモデルのダウンロードで、SHA-256 で照合し、途中からの再開もできます。5段目は pack の作成で、数秒で終わります。pack は GGUF の索引のようなもので、エキスパート本体は GGUF に残るので0.2GB です。

    6段目で、設定ファイル abyss-<name>.json と起動スクリプト run-abyss-<name>.sh を作ります。最後に、運用用の Abyss-tools フォルダを用意します。

    済んだ段は飛ばすので、何度実行しても大丈夫です。システムには何もインストールしません。

    文脈の長さは --context(既定65536)で変えられます。AMD なら --backend hip を付けます。

    量子化は、確認済みが UD-Q2_K_XL だけです。IQ1_S から Q6_K、MXFP4 まで対応はしていて、./setup-deepseek.sh --quant <名前> --download-model で選べます。ただ大きい量子化ほどメモリに入りきらない分が増え、SSD から読む量も増えます。

    起動と日常の使い方

    普段使うのは、Abyss-tools フォルダの abyss.sh です。Abyss 本体にも同じ名前の abyss.sh がありますが、そちらは GLM 用の別物です。間違えないようにしてください。

    cd ~/llm/apps/Abyss-tools
    ./abyss.sh start     # 起動。ready が出るまで待つ
    ./abyss.sh log       # ログを追う(Ctrl+C で抜けても止まらない)
    ./abyss.sh stop      # 停止

    start は、ソースが変わっていれば変更分だけビルドし直してから起動します。バックグラウンドで動き、準備ができるとログに「ready: http://127.0.0.1:8082/v1」の行が出ます。

    ほかに status、update、restart、build、models があります。私がよく使うのは status で、起動中かどうかと、エンジンがソースと一致しているかを確かめられます。update は git pull してビルドし直します。起動中や、コミットしていない変更があるときは止まります。

    なお Strata と Maya も同じ8082番を使います。RAM の取り合いになるので、同時には動かしません。

    ブラウザで使う

    起動したら、ブラウザで http://127.0.0.1:8082/ を開きます。画面は Maya のものを引き継いでいて、Chat、Monitor、About のタブがあります。

    Monitor には「Where the experts live」の欄があります。エキスパートが VRAM、Pinned RAM、SSD only にいくつあるかを見られます。生成の速さや GPU の温度も並びます。

    設定の Thinking では、思考の深さを Off、Low、High、Max から選べます。

    API と Claude Code から使う

    OpenAI 互換の API は http://127.0.0.1:8082/v1 です。モデル名は何でもかまいません。

    curl http://127.0.0.1:8082/v1/chat/completions -H 'Content-Type: application/json' \
      -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":4000}'

    答えは content に、思考は reasoning_content に入ります。思考の深さは reasoning_effort で、none、low、high、max から選びます。思考させるなら、max_tokens を数千にしてください。小さいと、思考が一言で閉じてしまいます。

    Anthropic 互換の /v1/messages もあります。Claude Code からつなぐときは、About タブに出るこの1行を使っています。API キーを設定していないときの形です。

    ANTHROPIC_BASE_URL=http://127.0.0.1:8082 ANTHROPIC_AUTH_TOKEN=maya claude

    ツール呼び出しにも対応しています。処理は一度に1リクエストで、会話の続きなら新しい分だけを読みます。

    ほかのマシンから使うなら、サーバー(serve/server.py)の起動オプションに --host 0.0.0.0 と --api-key を必ずセットで付けてください。キーなしで外に開くのは危険です。

    遅いときに見るところ

    まず見るのは、起動ログです。エンジンのログは Abyss/abyss-<model>.log、サーバーのログは Abyss-tools/logs/server-<model>.log にあります。うちの機では、次のような行が出ます。

    glm fast: CUDA0 RAM tier 69.66 GB pinned, 9164 slots
    glm fast: CUDA0 tiers warm: 11008 experts (89.8 GB) in 31 s (2.87 GB/s)
    glm fast: CUDA0 iGPU lane: an expert 0.046 ms vs 0.107 on the CPU's 16 threads -> the iGPU computes the lane

    1行目が RAM 層の大きさ、2行目が読んだエキスパートの数、3行目が RAM 層の計算役です。

    リクエストごとに出る glm stat の行には、disk … reads/tok という項目があります。明記はありませんが、0でなければ SSD から読んでいるのだと思います。

    遅くて SSD がずっと動いているなら、メモリ不足です。ほかのプログラムを閉じるか、RAM を足します。

    起動の前にエンジンが落ちるときは、RAM 層を取りすぎています。設定 json の "env" に STRATA_GLM_RAM_GB を書いて、小さく固定します。

    "env": { "STRATA_GLM_RAM_GB": "<GB数>" }

    システムに残す RAM(STRATA_GLM_RAM_HEADROOM_GB、既定6)を上げても同じです。DRAM のない NVMe なら、プロンプト処理で SSD を複数スレッドで読む STRATA_GLM_DISK_READERS も試せます。効くかどうかは環境ごとに測ってください。

    起動直後も遅めです。数分は iGPU のキューが止まることがあり、その間は CPU に回ります。私の機でも、生成が毎秒41〜49トークンに落ちました。比べるなら2回目以降で測ってください。

    まだできないこと

    できないことも並べておきます。

    • ドラフトモデル(MTP や DSpark)の投機デコード。n-gram の投機デコードは既定でオンです

    • 会話のディスク保存。直前の会話の再利用はできます

    • 画像の入力と、Windows での動作確認

    • GPU 2枚での高速化と、CUDA と HIP の混在

    • V100 とディスクリート Radeon での実行

    • 複数リクエストの同時処理

    手元の構成で動かしたら教えてください

    最初の質問に戻ると、GGUF は全部メインメモリに載らなくても動きます。GPU に要るのは密な重み約6GB とキャッシュだけです。エキスパートは VRAM、RAM、SSD の順に自動で置かれます。VRAM と RAM で約100GB あれば SSD を読まずに済み、少なければ遅くなります。

    困っているのは、その「遅くなる」の中身をまだ測れていないことです。

    そこで、お願いがあります。手元の構成で動かしたら、コメントで数字を教えてください。とくに知りたいのは、RAM が64GB 以下のような少ない構成です。V100 や RX 7900 は、私の手元ではまだ動かしていません。起動ログの RAM tier と tiers warm の行、生成の速さがあれば十分です。

    リンク

    ※数字はすべてうちの環境で測ったものです。RTX 5090 を PCIe Gen4 x4 で接続し、Ryzen AI Max+ 395、RAM 94GB で動かしています。RTX 3090 は USB4 の外付けケースでつないでいます。モデルは unsloth の DeepSeek-V4-Flash-0731 UD-Q2_K_XL です。

    #ローカルLLM #DeepSeek #DeepSeekV4 #Abyss #GGUF #MoE #RTX5090 #RTX3090 #RyzenAIMax #ClaudeCode

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ