メインコンテンツへスキップ

AIを一人の天才ではなく、一つの研究機関にする

    SSDに専門家を住まわせ、必要なときだけ呼び出すAI


    最近、ローカルLLMについて考えていた。
    きっかけは単純である。

    VRAMが足りない。RAMも高い。

    大きなAIモデルを自宅で動かそうとすると、すぐにこの問題にぶつかる。
    GPUには高速なVRAMが搭載されているが、容量は限られている。
    CPU側のRAMへモデルを逃がすこともできるが、2026年現在、DRAM価格はかなり高い。
    そこでふと思った。
    そもそも、AIの能力を全部同時にメモリへ載せておく必要があるのだろうか。
    人間の社会ではそんなことはしていない。
    核融合について議論するときに、歯車の専門家を呼ぶ必要はない。
    電子基板を設計しているときに、税法の専門家を会議室に座らせておく必要もない。
    必要になったときだけ専門家を呼べばいい。
    AIも同じようにできないだろうか。
    考えているうちに、これは単なる「LLMのメモリ節約」の話ではなくなっていった。
    最終的には、
    AIを一人の巨大な天才として作るのではなく、一つの研究機関として作る
    という構想になった。

    1. そもそもMoEとは何か


    現在の大規模AIでは、Mixture of Experts(MoE)という仕組みが広く使われ始めている。
    名前の通り、「専門家の混合」である。
    巨大なニューラルネットワークをいくつものExpertに分け、入力ごとに必要なExpertだけを呼び出す。
    全部のパラメータを毎回計算する必要がないため、巨大なモデルを比較的小さな計算量で動かせる。
    例えばDeepSeekMoEでは、従来よりExpertを細かく分割する Fine-Grained Expert Segmentation と、共通知識を担当するShared Expertを導入している。
    つまり、
    Expertをもっと細かくして、それぞれを専門化させる
    という方向そのものは、すでに実際のAI研究でかなり進んでいる。(arXiv)
    ただし、ここでいうExpertは、私たち人間が想像する「核融合専門家」「電子回路専門家」とは少し違う。
    学習の結果としてニューラルネットワーク内部に自然発生した計算モジュールであって、人間が読める職業名を持っているわけではない。
    そこで、別の概念を考えてみる。

    2. 「Expert」ではなく「Specialist」を作る


    ここでは、MoE内部のExpertとは別に、より大きな粒度の専門家を
    Specialist
    と呼ぶことにする。
    例えば、

    • Plasma Physics Specialist

    • Fusion Diagnostics Specialist

    • PCB Design Specialist

    • Power Electronics Specialist

    • Structural Mechanics Specialist

    • Vacuum Engineering Specialist

    • CUDA Optimization Specialist

    • Tax Specialist

    といった具合である。
    MoEのExpertがトークン単位で高速に切り替わるのに対して、Specialistは話題やタスク単位で切り替える。
    例えば私が、
    「核融合装置の診断ポートを設計したい」
    と言えば、

    • 核融合プラズマ

    • 真空

    • 光学

    • 構造

    • 診断

    • 磁場

    などのSpecialistを呼び出す。
    その後30分間ずっと核融合について話すなら、そのSpecialistたちはメモリ上に残しておけばいい。
    逆に、
    「今度は電子基板を作りたい」
    となったら、核融合の専門家を退席させて、

    • PCB

    • EMC

    • 電源

    • 部品選定

    • 信号品質

    などのSpecialistを呼ぶ。
    人間の組織とほぼ同じである。

    3. Specialistは「知識」だけではない


    ここで疑問が出る。
    専門知識ならRAGでよくないか?
    これはかなり正しい。
    最新の論文、法律、製品仕様、データシートなどを、わざわざニューラルネットワークの重みに焼き込む必要はない。
    RAGで検索すればいい。
    ただし、RAGとSpecialistは少し役割が違う。
    私は次のように考えている。
    RAGは専門家の本棚であり、Specialistは専門家本人である。
    例えば、
    「2026年の住友重機械の減速機SCYシリーズの仕様は?」
    という問いなら、WebやRAGから最新の仕様書を持ってくればいい。
    一方、
    「この減速機をヒューマノイドの膝関節に使う場合、設計上何を考えるべきか?」
    という問いには、

    • 減速比

    • バックラッシ

    • 慣性

    • 衝撃荷重

    • バックドライバビリティ

    • モータ特性

    • 軸受

    • 熱

    などを横断して判断する能力が必要になる。
    これは単なる文書検索とは少し違う。
    だからSpecialistは、例えば次のような能力パッケージとして作れるかもしれない。
    PCB Design Specialist
    ├── LoRA / Adapter
    ├── 専用System Prompt
    ├── 電子部品RAG
    ├── Datasheet検索
    ├── KiCad
    ├── SPICE
    ├── ERC / DRC
    └── PCBメーカーの設計ルール
    知識だけではない。
    知識+考え方+道具+作業手順
    をまとめて一人のSpecialistとみなす。
    実はこの方向も、現在の研究とかなり接近している。
    X-LoRAでは、生物学、数学、力学、化学など異なる能力を持つLoRAを用意し、状況に応じて動的に組み合わせている。(arXiv)
    Mixture of LoRA Expertsのように、複数のLoRAを専門モジュールとして組み合わせる研究も存在する。(arXiv)
    さらに2026年には、Agent Skillsという考え方も急速に発展している。
    これは、命令、コード、ツール、リソースなどを再利用可能な能力パッケージとして保存し、必要になったときだけAgentへ読み込ませるというものだ。(arXiv)
    つまり、
    AIの能力をモジュールとして保存し、必要なときに取り出す
    という発想自体は、すでに研究の大きな流れになりつつある。

    4. SSDを「専門家の倉庫」にする


    ここで最初のメモリ問題に戻る。
    Specialistを大量に作ったとしても、全部GPUのVRAMへ載せれば、やはりメモリが足りない。
    ではSSDに置けばいい。
    例えば、
    VRAM
    ↑
    頻繁に働いているSpecialist

    RAM
    ↑
    もうすぐ使いそうなSpecialist

    SSD
    ↑
    普段は眠っている大量のSpecialist
    という階層を作る。
    人間の組織に例えるなら、

    • VRAM = オフィスの机

    • RAM = 控室

    • SSD = 在籍している専門家全体

    である。
    核融合について話し始めたら、
    SSD
    ↓
    Fusion Specialist
    ↓
    RAM
    ↓
    VRAM
    と移動させる。
    話題が変われば追い出す。
    これは一見かなり突飛だが、MoEのExpertについては、すでに近いことが研究されている。
    MoE-Infinityでは、どのExpertが使われたかを追跡し、今後使われそうなExpertを事前にGPUへ読み込むprefetchやcacheを行う。(arXiv)
    さらに2026年のFlashMoEは、使っていないExpertそのものをSSDへ置く。
    最近使ったか、頻繁に使われているかなどを機械学習で予測してcacheを管理し、限られたRAMしかない一般的なPCでも巨大MoEを動かそうとしている。(arXiv)
    つまり、
    VRAM → RAM → SSD
    というAI用メモリ階層は、すでに研究対象になっている。

    5. 古いGPUも「専門家の机」として使えないか


    さらに考える。
    中古市場には、Tesla V100やM40のような古いデータセンターGPUが大量に存在する。
    最新GPUほど計算性能は高くない。
    しかしVRAMは大きい。
    だったら、
    古いGPUを、巨大な「演算機能付きVRAM」として使えばいいのではないか。
    例えば、
    最新GPU
    ├── Attention
    ├── Shared Expert
    └── 頻繁に使うSpecialist

    古いGPU 1
    ├── Specialist A
    ├── Specialist B
    └── Specialist C

    古いGPU 2
    ├── Specialist D
    ├── Specialist E
    └── Specialist F

    RAM
    └── Warm Specialists

    NVMe SSD
    └── Cold Specialists
    とする。
    ここで重要なのは、巨大なモデルの重みをGPU間で毎回移動させないことだ。
    重みを計算機へ持ってくるのではなく、計算を重みのある場所へ持っていく。
    MoEではExpertへ渡すactivationは、そのExpert全体の重みに比べれば小さい。
    ならばPCIe帯域が細くても、Expert自身をそのGPU上で計算して結果だけ返せる可能性がある。
    これも単なる妄想ではない。
    HeterMoEという研究では、新しいGPUをAttentionへ割り当て、古いGPUをExpert計算へ割り当てる非対称な構成を試している。
    A40だけで構成したシステムの半分を古いV100へ交換しても、平均で約95%のtraining throughputを維持できたと報告している。(arXiv)
    つまり、
    古いGPUはAIでは役に立たない
    ではなく、
    役割を選べば、まだ使える
    ということになる。

    6. では誰が専門家を呼ぶのか


    Specialistが100人、1000人と増えたら、人間が毎回選ぶのは面倒である。
    そこで必要になるのが、
    Facilitator
    だと思う。
    MC、司会者、研究所長、プロジェクトマネージャーと呼んでもいい。
    ユーザーの質問を読んで、
    今回は誰を呼ぶべきか?
    を決める。
    例えば、
    「真空容器の中にカメラを入れてプラズマを観測したい」
    という相談なら、
    Facilitator
    ├── Vacuum Specialist
    ├── Optical Specialist
    ├── Plasma Diagnostics Specialist
    ├── Mechanical Design Specialist
    └── Control Specialist
    と招集する。
    各Specialistが異なる立場から検討し、
    Facilitatorが、

    • どこで意見が一致したか

    • どこがTrade-offなのか

    • 追加計算が必要なのは何か

    • 人間に最終判断してもらうべき点は何か

    を整理する。
    HierRouterのように、複数の専門化されたモデルから必要なものを順番に選択し、推論パイプラインそのものを動的に構成する研究も既に存在する。(arXiv)
    つまり、AI内部に「専門家を束ねる人」を置く方向も始まっている。

    7. AIの中に「研究機関」を作る


    ここまで考えると、AIを一人の人格として考える必要がなくなってくる。
    むしろ、
    一つの研究機関
    として考えた方が分かりやすい。
    対応関係を書いてみる。
    コンピュータ
    研究機関
    SSD容量
    在籍できる専門家の人数
    RAM容量
    待機している専門家の人数
    VRAM容量
    同時に仕事できる机の数
    GPU性能
    各研究者の仕事の速さ
    PCIe / NVLink
    研究者同士の連絡速度
    Specialist
    各分野の研究者
    MoE Expert
    研究者内部の細かな技能
    Facilitator
    研究所長・PM
    RAG
    図書館・論文DB
    Tools
    実験装置・解析装置
    Long-term Memory
    研究ノート・議事録
    この考え方だと、
    GPU性能=AIの賢さ
    ではなくなる。
    例えば、
    1000人の専門家が在籍しているが、机が20席しかない研究所
    と、
    50人の専門家しかいないが、50人全員が同時に働ける研究所
    では性質が違う。
    前者は非常に多くの専門分野を扱えるが、専門家の入れ替えが必要になる。
    後者は扱える領域は狭いが、高い並列性を持つ。
    AIでも、

    • どれだけ多くの専門能力を保存できるか

    • 何個同時に動かせるか

    • Specialist切替に何秒かかるか

    • Specialist同士がどれくらい高速に情報交換できるか

    という評価軸が必要になるかもしれない。

    8. Specialistの分類すらAIに任せればいい


    ただし、ここまで来ると問題がある。
    Specialistを1000種類、人間が設計するの?
    面倒すぎる。
    ならば、Specialistの組織構造そのものをAIに作らせればいい。
    例えば大量の、

    • 会話

    • タスク

    • 論文

    • Tool使用履歴

    • 成功・失敗記録

    をembeddingに変換する。
    そしてクラスタリングを行う。
    例えばHDBSCANなどを使えば、最初からクラスタ数を決めなくても、
    この仕事とこの仕事は同じ能力を必要としている
    という集団を自然に発見できる。
    面白いのは、AIが作る専門分類が、人間の学問分類と一致する必要がないことだ。
    人間なら、

    • 真空工学

    • 機械工学

    • 材料工学

    と別々に分類するかもしれない。
    しかしAIの利用履歴を見ると、

    • フランジ

    • ボルト締結

    • シール

    • 熱膨張

    • リーク

    がいつも一緒に使われているかもしれない。
    ならば、
    High Vacuum Mechanical Design Specialist
    のような、人間の学科には存在しない専門家を作った方が合理的かもしれない。
    さらに、

    • よく一緒に呼ばれるSpecialistは統合する

    • 一つのSpecialist内部で仕事が二分してきたら分裂させる

    • ほとんど使われないものはSSDの奥へ追いやる

    • よく使うものは常駐させる

    といった組織改編もできる。
    つまりAI研究所自身が、
    経験に応じて組織図を変更する。

    9. 核融合設計で使ったらどうなるか


    私がこの仕組みを特に使ってみたいのが、核融合である。
    核融合は、一つの専門分野ではない。
    例えば装置一つを作るだけでも、

    • プラズマ物理

    • 電磁気

    • 超伝導

    • 真空

    • 構造

    • 材料

    • 熱流体

    • 中性子

    • 高周波

    • 計測

    • 制御

    • 電源

    • 遠隔保守

    • 安全

    • コスト

    などが絡む。
    しかも、それぞれの専門家にとっての「最適解」が一致するとは限らない。
    プラズマ物理の立場からは良い位置にコイルを置いても、構造屋から見ると支持できないかもしれない。
    診断屋がポートを欲しがれば、中性子遮蔽屋は穴を開けたくないかもしれない。
    真空屋が複雑な構造を嫌がれば、光学屋が必要な視線を確保できないかもしれない。
    こうした問題こそ、
    一人の巨大AIに全部聞くより、複数の専門家AIを議論させた方が自然ではないか
    と思う。
    例えば、
                Fusion Design Facilitator
                          │
          ┌────+────┐
          │               │               │
    Plasma            Vacuum         Structural
    Specialist        Specialist      Specialist
          │               │               │
    Magnet          Diagnostics        Thermal
    Specialist        Specialist      Specialist
          │               │               │
          └────┼────┘
                          │
                     Design Proposal
    さらに各Specialistが、

    • 論文RAG

    • FEM

    • CAD

    • 磁場計算

    • 中性子輸送計算

    • プラズマ平衡計算

    • 最適化

    • Python

    などを使う。
    AIに「核融合炉を全部設計して」と丸投げする必要はない。
    むしろ、
    複数分野間のTrade-offを大量に探索するシステム
    として使う。
    これは現在の人間中心の研究組織では非常にコストが高い。
    何十人もの専門家の予定を合わせ、資料を共有し、議論して、また計算して、次の会議をする必要がある。
    AIなら、その一部を高速化できるかもしれない。

    10. どこまで既に研究されているのか
    ここまで書くと、
    それ、もう誰かやってるんじゃない?
    と思う。
    調べてみた。
    そして実際、かなりの部分は既に研究されていた。

    • Expertの細粒度化
      → DeepSeekMoE

    • ExpertのGPU/RAM間offload
      → MoE-Infinity

    • SSDへのExpert offload
      → FlashMoE

    • 古いGPUと新しいGPUの混在利用
      → HeterMoE

    • 複数LoRAを専門家として利用
      → X-LoRA / Mixture of LoRA Experts

    • 必要な専門モデルを動的に選択
      → HierRouter

    • 能力を後付け可能なパッケージにする
      → Agent Skills

    つまり、自分で考えていたことの多くは、2024~2026年のAI研究の方向とかなり重なっていた。
    これは少し残念でもあり、同時に面白い。
    全く的外れな方向を妄想していたわけではなかったということだからだ。

    11. それでもまだ面白いと思う部分


    一方で、これらはそれぞれ別の研究分野として発展している。
    MoE研究では、
    ExpertをどのGPUへ配置するか
    を考える。
    Agent研究では、
    どの専門家やToolを呼ぶか
    を考える。
    RAG研究では、
    どの資料を検索するか
    を考える。
    PEFT研究では、
    どのLoRAを使うか
    を考える。
    しかし、これらは本来かなり密接につながっている。
    例えばFacilitatorが、
    「これから核融合診断の話になりそうだ」
    と判断した時点で、
    Fusion Diagnostics SpecialistをSSDからRAMへprefetchできる。
    さらに、
    「光学の話にも移りそうだ」
    と予測したらOptical Specialistも先読みする。
    つまり、
    意味レベルの予測を、ハードウェアのメモリ管理へ直接使う。
    これは単なるLRUキャッシュとは違う。
    会話には強いTopic Localityがある。
    人間は普通、
    「核融合」
    と言った次の瞬間、
    「フランス料理」
    の話には移らない。
    数分、数十分は似た話題が続く。
    この時間スケールなら、SSDの遅さもかなり隠せる可能性がある。
    そこで、
    Semantic Routing
           ↓
    Specialist Routing
           ↓
    MoE Routing
           ↓
    Hardware Placement
    を一つのシステムとして最適化する。
    ここはまだ非常に面白い研究テーマだと思う。

    12. AIは「一人の天才」から「組織」へ向かうのかもしれない


    過去にこんな記事を書いた。

    これまでAIは、
    一つの巨大なニューラルネットワークをできるだけ賢くする
    という方向で発展してきた。
    もちろん、その方向は今後も続くだろう。
    しかしモデルが巨大化するほど、
    全能力を一つのモデルに押し込めて、全部を高速メモリへ置いておく
    という方法には限界が出てくる。
    人類は知識が増えたとき、一人の人間の脳を巨大化させることで対応しなかった。
    専門分化した。
    物理学者を作り、医者を作り、機械技術者を作り、法律家を作った。
    そして必要なときに専門家を集めて組織を作った。
    AIも同じ方向へ進むのかもしれない。
    巨大な一人の天才AIではなく、
    数千、数万のSpecialistを抱え、必要に応じて組織編成を変更するAI。
    そのAIでは、
    SSDの容量が「どれだけ多くの専門家を抱えられるか」を決める。
    VRAMの容量が「何人同時に働けるか」を決める。
    GPUの速度が「一人一人がどれくらい速く仕事できるか」を決める。
    ネットワークやPCIeの速度が「専門家同士がどれくらい高速に議論できるか」を決める。
    RAGが図書館になり、
    Toolが実験装置になる。
    Facilitatorが研究所長になる。
    そう考えると、
    コンピュータの中に、一つの研究機関を作る
    という表現が一番近い。
    私はAIを専門に研究しているわけではないし、このシステムを実際に全部実装できるかと言われれば分からない。
    ただ、ローカルLLMの
    「VRAMが足りない。RAMが高い。じゃあSSDを使えないか?」
    という小さな疑問から考えていたら、最終的にここまで来てしまった。
    そして調べてみると、その途中で考えた多くの要素が、実際の最新AI研究ともつながっていた。
    ならば少なくとも、
    考える方向としては、そんなに悪くないのかもしれない。
    いつか自宅のPCの中に、
    「今日は核融合研究所を開こう」
    と言ったら必要な専門家たちがSSDから出勤してくる。
    そんなAIが動いたら、かなり面白いと思う。

    参考にした研究

    • DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
      Expertの細粒度化とShared Expertを提案。(arXiv)

    • MoE-Infinity: Offloading-Efficient MoE Model Serving
      Expertの利用履歴を利用したprefetch・cacheによるMoE offloading。(arXiv)

    • FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge Devices
      RAM容量が限られた環境でExpertをSSDへoffload。(arXiv)

    • HeterMoE: Efficient Training of Mixture-of-Experts Models on Heterogeneous GPUs
      新旧GPUを非対称に利用し、古いGPUをExpert計算へ活用。(arXiv)

    • X-LoRA: Mixture of Low-Rank Adapter Experts
      異なる専門能力を持つLoRAを動的に組み合わせる。(arXiv)

    • Mixture of LoRA Experts
      複数のLoRAを階層的に組み合わせる仕組み。(arXiv)

    • HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning
      タスクに応じて複数の専門LLMを動的に選択する。(arXiv)

    • Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward
      命令・コード・リソースなどを必要時に読み込む能力パッケージという考え方を整理。(arXiv)



    まぁこの文章自体も全部ChatGPTと対話して、その後記事にまとめてもらったんだよね。
    ただ発想自体は新しいと思うから公開する価値はあるって言うふうに私は判断した。
    何なら家のローカルAI用パソコンで実際にやってみたいと思う。うまくいったら何か続報が出るかもね。

    あなたへのおすすめ