メインコンテンツへスキップ
見出し画像

【週刊GPUニュース】巨大モデルをどう載せる? llama.cppのMoEキャッシュからMaya(321B)・Abyss(284B)まで。2026/10/18版

    「【ほぼLLM感】(マルチGPU)ニュース」になってるじゃん!」という噂もありつつ。
    もともとは、主にComfyUIや動画系のマルチGPU関連の情報を発信しようと始めたnoteなんですが、ここ数週間は、Local LLMに動きがありすぎました。
    そのため今週ももう少し、Local LLM周辺記事にお付き合い頂けますと幸いです!

    Local LLMを使っていると、モデルの性能もさることながら、それらを手元のPCでどこまで快適に動かせるかを重視する方は多いと思います。

    今週は、その「快適な動かし方」に関する話題を3つ取り上げます。汎用的に適用できるllama.cppのMoEキャッシュ、321BクラスLLMのGLM向けのProject Maya、284BクラスLLMのDeepSeek向けのAbyssです。

    新しいGPUを買う前に、最終的に何個のGPUが必要なのか(「いやいや1つで十分だろ!」というツッコミは置いておいて)、今あるGPUやメモリの使い方で改善できる余地はあるのか。そのあたりの参考にもなりましたら幸いです。

    今週のお題目

    1. llama.cppでもMoE expertのGPUキャッシュによる高速化が可能に! RTX 3090で試してみました

    2. 321BのLocal LLM「GLM」が手元のPCで動いた!「Project Maya」をWindowsで試してみました

    3. 284BのDeepSeekも手元のPCで動いた!「Abyss」をWindowsで試してみました

    この記事からわかること

    • llama.cppで専用エンジンに頼らずMoEモデルを高速化する仕組みと、RTX 3090での検証結果の要点

    • GLM向けのProject Mayaの主な更新と、筆者のWindows環境でのモデル別の生成速度

    • DeepSeek向けのAbyssの仕組みと、CPU・内蔵GPU・RAM・SSDによる条件の違い、筆者のWindows環境での動作状況

    今回は、公式の機能・更新情報と作者さんらの動作報告に加え、手元でのllama.cppの検証結果や、WindowsでのMaya・Abyssの動作状況も紹介します。速度の数値は、筆者の実測と開発者さん・作者さんのご報告を区別して記載します。

    1. llama.cppでもMoE expertのGPUキャッシュによる高速化が可能に! RTX 3090で試してみました

    今回の注目は、Strataのような専用エンジンを使わずに高速化を試せることです。汎用エンジンのllama.cppで、対応する好きなMoEモデルを選ぶことができます。限られたVRAMとRAMを有効活用できる点がポイントです。新しいGPUを買う前に、今あるハードウェアで工夫できる選択肢が増えました。

    RAMにあるexpertを、GPUで再利用する

    llama.cppのv0.7.0で目を引いたのが、MoEモデルのexpertをGPUにキャッシュする機能です。RAM側に置いたexpertの一部をVRAMに保持し、再び必要になったときに再利用します。キャッシュに無いexpertはGPUへ転送して計算し、最近使われていないものから入れ替えるLRU方式で管理します。

    指定するオプションは --moe-cache-mib で、複数GPUにも対応しています。ただし、どのMoEモデルでも無条件に使えるわけではなく、llama.cppが対応するモデル構造・量子化形式・バックエンドの範囲で利用する必要があります。

    (参考:llamaの該当PR)
    llama: support MoE cache over multiple GPUs by am17an · Pull Request #30112 · ggml-org/llama.cpp

    1GPUでも効果あり。2GPUでの動作も良好。

    私も10月17日に、Windows 11・Core i5-12400F・RAM 96GB・RTX3090 * 4(各24GB)の環境で検証しました。Qwen3.8-Flash-Next系のGGUFを使い、GPUを1~4枚、キャッシュ容量を変えて試しています。
    主な結果は次の通りでした。

    • 1GPUでコーディングを実行。キャッシュ増量が効いた。
      IQ3_Sのコード生成では、キャッシュなしで11.20 tokens/s、16GiB設定で33.37 tokens/sでした。

    • 2GPUでの小説生成の実行では、Q4モデルで42~43 tokens/sが出た。
      2~4GPUそれぞれでUD-IQ4_XSの生成速度を試したのですが、今回の構成では2GPU(キャッシュ36~40GiB)が最速となり、約42~43 tokens/sでした。

    • Strataでの同モデル・2GPU・8K・同プロンプト実行結果は・・・
      Strataでも同じモデル・2GPU・8Kコンテキスト・同じプロンプトで試すと、98.6 tok/sでした。ただし、MTPの有無や計測条件までは統一できていないため、参考比較です。

    尚、いずれも各条件は原則1回の測定ですので、数字の精度はそれに応じたレベルとお考え下さい。コーディングと小説生成は別系統の検証であり、生成内容・長さも異なります。

    測定条件・全結果・Strataとの比較・起動コマンド・留意点等は、公開済みの以下の検証記事にもまとめています。詳細が知りたい方、実際に試したい方は、是非こちらもご覧ください!

    2. 321BのLocal LLM「GLM」が手元のPCで動いた!
    「Project Maya」をWindowsで試してみました

    GLM-5.3-Flashを家庭用PCで動かす専用エンジン

    Strataの派生として公開されたProject Mayaも、今回紹介しておきたいプロジェクトです。対象は、MoEモデル「GLM-5.3-Flash」です。

    GLMは、中国のAI企業Z.ai(智譜AI/Zhipu AI)が開発するモデルシリーズです。同社は清華大学の研究者らが立ち上げた企業で、ChatGLMなども手がけています。会社紹介/清華大学による紹介

    今回のGLM-5.3-Flashは、テキストと画像を扱えるマルチモーダルモデルです。コード生成やツールを使うエージェント用途を重視し、推論コストの低減も狙っています。公式発表では総パラメータ約320B、1トークンあたり約18Bが活性化する構成です(Maya側では321Bと紹介されています)。本稿では、Mayaを使ったテキスト生成を試しています。モデルの公式紹介

    尚、Maya自体は先週末時点で既に登場しており、zephel01氏がUbuntuでの導入記事を書かれています。Strataに歓喜の声を上げられた方はきっとハマるプロジェクトと記事だと思いますので、是非見に行かれることをお勧めします!

    前述のとおり、MayaはStrataのフォーク(派生)です。モデル全体がVRAMに収まらなくても、利用頻度に応じてexpertをVRAM・RAM・NVMe SSDに配置して動かせます。手元のハードウェアを測定し、そのPCに合わせて動作を最適化する仕組みも備えています。
    また、ブラウザで使えるチャット画面に加え、OpenAI/Anthropic互換APIも用意されています。

    (GitHubのMayaページ)
    GitHub - mw00/project-maya: Project Maya - run GLM-5.3-Flash (321B MoE) 

    ついでに、UIも結構クールです。チャット画面にソースコードがベタっとは出力されず、ちゃんと小窓にスクロールバーが付いて表示されるアップデートなんかも、地味にうれしい。

    画像
    UIが付いたインストーラ(起動オプション指定でターミナルでの進行も可)
    画像
    起動後
    画像
    MonitorとAboutの画面。Maya-Lの時のものなので、Expert配置にSSDも使われています。

    今週は長文対応やWindowsの改善も

    Mayaは公開後も更新が続いています。10月18日時点では、v1.1.15まで公開されていることを確認できました。今週の更新では、長文処理やWindows対応、メモリの使い方に関する改善が進んでいます。以下はv1.1.15のリリースノートからの抜粋です。

    現時点で最新(v1.1.15)のリリースノート:Releases · mw00/project-maya

    画像
    リリースノート1.1.15からの抜粋

    特に気になったのは、VRAMをexpertとKVキャッシュのどちらに使うかを調整する動きです。長いコンテキストでは、モデルの重みだけでなく、会話履歴を扱うメモリも効いてきます。

    また、v1.1.13で単一会話時のexpert入れ替えにLRU方式を採用した点は、llama.cppとも共通しています。実装全体は異なりますが、この管理方法が広がっているのは興味深いところです。

    尚、現行READMEでは「Windowsは実験的対応で、WSL2は対象外」とされています。そのため、私はWindowsネイティブでの導入を試し、動くところまで行きました。

    やり方としては、Strataと同様に起動オプション等を調整しながら進めました。いくつか例外エラーも出ましたが、私の環境ではAIに相談しながら解消できました。

    これも記事にするかもしれませんが、既にryota氏が導入成功の記事を書かれていますので、お急ぎの方はこちらをご覧頂くのが良いかと。

    ちなみに、私の環境(RTX3090 * 4 + メインメモリ96GB)では、速度向上のための細かな調整はほぼ行わずに、以下の生成速度となりました。私の使い方では、Maya-Mあたりまでは実用圏内に入りました。

    画像
    私の環境での各モデルの生成速度(4GPU + 96GB RAM)

    参照:Project Maya/リリース一覧

    3. 284BのDeepSeekも手元のPCで動いた!
    「Abyss」をWindowsで試してみました

    今度は284BのDeepSeek V4 Flash

    Mayaからさらに派生したのが、noteにいらっしゃる(!)zephel01氏による「Abyss」です。Mayaのエンジンに、284BのMoEモデル「DeepSeek V4 Flash」への対応を加えています。

    DeepSeekは、中国のAI企業であり、同社が開発するモデルシリーズの名前でもあります。公式サイト

    今回のDeepSeek V4 Flashは、V4シリーズの中で推論時の計算量を抑えたモデルです。総パラメータ284Bに対し、1トークンあたり約13Bが活性化するMoE構成を採用しています。文章生成に加え、推論・コード生成・ツールを使うエージェント用途にも対応しています。モデルの重みが公開されており、Abyssのような対応エンジンを使って手元のPCでも実行できます。公式モデル紹介

    直近出てきたモデル特化型推論エンジンをまとめると、以下の通りです。

    画像
    Strataとその派生projectが対象としているモデル

    これらはモデルごとの構造に合わせて開発が進められています。

    Abyssも、よく使うexpertをVRAM、次をpinned RAM、残りをSSDへ置く方式です。開発時点で対応しているRyzen AI Max環境では、内蔵GPUがRAM側のexpertを計算する「iGPUレーン」も利用しています。
    特長等は、ReadMeファイルにきれいに書いていただいているので、こちらをご覧頂くのが良さそうです。
    Abyss/README.ja.md at main · zephel01/Abyss · GitHub

    3090の動作報告もある。ただしCPU・RAMの条件に注意

    zephel01氏の10月15日の記事では、RTX 3090をUSB4ケースに接続した環境で、約48〜50 tok/sの生成が報告されています。モデルはunslothのUD-Q2_K_XL、約96.8GBです。

    RTX 3090ユーザーとしては気になる数字ですが、上記での組み合わせはRyzen AI Max+ 395、RAM 94GBで、内蔵GPUも活用しています。この構成での測定結果であることから、一般的なデスクトップCPUとRTX 3090の組み合わせで、同じ速度が出るとは限りません。
    また、zephel01氏のRTX 5090+3090による試験では、「5090単独+内蔵GPUの構成よりも生成速度が落ちた」とのことでした。この分割構成では、投機デコードやプロンプト用の事前転送も使えないとのことです。

    巨大モデルを動かす鍵は、VRAM・RAM・SSDの使い分け

    Strata、Maya及びAbyssでは、モデルがRAMに全て収まらなくても、足りない部分をSSDから読むことで実行できます。一方、SSDにどれくらいアクセスするか(どのくらいexpertが置かれるか)は速度に影響します。

    SSDを使う場合は、転送速度だけでなくランダム読み出し性能も重要です。必要なexpertをその都度読み込むため、転送速度とランダムアクセス性能が高いNVMe SSDが有利になります。ただし、NVMeという接続方式だけで速さが決まるわけではなく、製品やアクセス条件によって差があります。

    GPUが対応しているかに加え、RAMにどこまで保持できるか、SSDからどれくらい読み出すかも確認したいところです。CPUや内蔵GPUの役割と合わせて見ると、速度の違いを理解しやすくなりそうです。

    Windowsでの動作確認について

    前出のzephel01氏の10月15日の導入記事(v1.3.17)では、Windowsでの動作は未確認とされていましたが、私の手元のWindows・RTX 3090環境では、やはりいくつかの例外対応は経たうえで、Abyssを起動してプロンプトへの応答まで確認できました。

    ただし、いくつか設定を試した現時点では、生成速度は約10 tok/sにとどまっています。zephel01氏のご報告とはハードウェアや実行条件がかなり異なるのと、私の環境に合った設定を十分に詰められていない可能性もあります。

    Windowsでの導入手順や試した設定については、別の記事にまとめるかもしれません。

    参照:Abyss日本語README/zephel01氏の導入・測定記事

    おわりに

    今回の3つの話題に共通するのは、巨大なMoEモデルを、VRAMだけでなくRAMやSSDのリソースも使ってどう効率的に動かすか、という視点です。

    llama.cppでは、RAMにあるexpertをGPUで再利用するキャッシュが加わりました。一方、Project MayaとAbyssでは、Strataから派生したエンジンが、それぞれGLMとDeepSeekの構造に合わせて開発されています。

    ただし、モデルが「載ること」と、快適な速度で「使えること」は別です。モデルの読み込み、入力処理、文章生成のどこで待っているのか。VRAM・RAM・SSDをどう使い、CPUやGPUが何を担当しているのか。

    そこを分けて見ると、自分の環境で試したい更新も選びやすくなりそうです。私もMayaとAbyssは、手元のWindows・3090環境で動作するところまで確認できました。導入手順や設定、速度については、公式の機能紹介とは分けて別の記事にまとめたいと思っています。


    参考リンク

    1. llama.cpp:MoE expertのGPUキャッシュ実装PR

    2. llama.cpp:MoEキャッシュの複数GPU対応PR

    3. llama.cpp v0.7.0リリース

    4. Project Maya README

    5. Project Maya リリース一覧

    6. Abyss 日本語README

    7. Abyss zephel01氏の導入・測定記事

    8. 筆者の検証記事:llama.cppのMoEキャッシュをマルチGPUで試す

    実は もうひとつあった記事候補

    今週は、ComfyUIのMiniMax-H3 LightVAE対応PRも記事の候補にしていました。動画のエンコード・デコードの高速化に関わる更新で、こちらも気になる話題ではあります。

    メジャーな動画生成モデルの速度向上系の話なので、誰かが書く(あるいは既に書いている)のではないかと思いますので、今回はご参考に言及するだけにしておきます。来週ネタが足りなかったら、使うかもです。

    トップ絵の2人の女の子について

    実はMayaとAbyssの記事を書いてからこの「マルチGPUニュース」を上げる想定で、Mayaのトップ絵向けに生成したのが左側の女の子、Abyssのトップ絵向けに生成したのが右側の女の子だったのですが、先にこちらでの登場になってしまいました。
    また登場させるかもしれませんので、その時には「ああ、あの時の」と思って戴けますと幸いです!

    おまけのリファレンス

    Mayaは「Q4級」「Q3級」といったあたりがわかりづらいので、以下も付けておきます。できればMaya-Lを使いたいのですが、生成速度がなぁ

    画像
    各Mayaモデルが、ざっくり何bit級かのまとめ。・・・「敏感な層」って何さ
     
     

    yuhmak

     
     
    いわゆるTech系カンパニーと総称される会社に勤務している会社員です。 趣味が高じてネタが貯まってきましたので、投稿を始めました。LocalLLM、ComfyUI関連、eGPU(大量VRAM)の用途開拓や検証等の記事をアップしていきます。

    あなたへのおすすめ