
「Sakana Fugu」をローカル LLM だけで再現したlocal-fuguを作ってSWE-bench を回したらハーネスごと壊れた話
**ネタ元 / 参考**
- Sakana Fugu 公式: https://sakana.ai/fugu/
- Fugu テクニカルレポート: https://github.com/SakanaAI/fugu/blob/main/Fugu_technical_report.pdf
- 基盤論文(ICLR 2026): TRINITY https://arxiv.org/abs/2512.04695 / Conductor https://arxiv.org/abs/2512.04388
ローカルの ollama だけで「複数の AI エージェントにコードを直させる」仕組み(local-fugu)を作っている。Sakana AI の Fugu にインスパイアされた、planner → coder → reviewer の多エージェント・パイプラインだ。
ネタ元:Sakana Fugu とは
Sakana Fugu は「One Model to Command Them All」——複数の強力なモデル群を動的にオーケストレーションして 1 つの API として提供するマルチエージェント・システムだ。人間が役割分担やワークフローを決め打ちするのではなく、タスクごとにエージェントの編成と連携の型をシステム自身が学習する点が肝になっている。基盤は ICLR 2026 の 2 論文:
TRINITY(arXiv:2512.04695)── 軽量な進化型コーディネーターが複数 LLM を複数ターン統括し、各モデルに Thinker / Worker / Verifier の役割を適応的に割り当てる。
Conductor(arXiv:2512.04388)── 強化学習で自然言語ベースの協調戦略を自ら発見し、エージェント間のやり取りの型と要点を絞ったプロンプトを設計する。
local-fugu はこの発想へのオマージュで、フロンティアの巨大モデル群ではなく手元の ollama / vLLM の小型モデルだけで同じ骨格を回そうとする実験だ。今回の改修で効いた「検証してから採用する」「テスト実行で詰める」という流れは、まさに TRINITY の Verifier ロールに対応する。Conductor 相当の動的ワークフロー生成も pipeline に持っている。本記事の後半で出てくる `is_patch_safe` と実行ガイド修復は、Verifier をローカルで具体化したものと読んでもらえれば近い。
その実力を測ろうと SWE-bench Verified(実在の GitHub issue を自動で直せるか competeするベンチ)を回した。結果は——0 件解決どころか、パッチがソースファイルを片っ端から壊していた。本記事は、この「壊れる」状態を「壊さない・溢れさせない・検証する」ところまで作り直し、最後は実行ガイド修復まで実装した一部始終の記録だ。途中のハマりと設計判断を、できたこと・できなかったことを正直に分けて書く。
1. 最初の症状:パッチがファイルを破壊する
最初の評価ログを見て凍りついた。`astropy-12907` のテストが IndentationError でモジュールごと import 不能になり、本来通っていたはずのテスト(PASS_TO_PASS)まで 13 件全滅していた。
原因はすぐ分かった。プロンプトが小型モデルに unified diff を手書きさせていたのだ。
CRITICAL diff format requirements:
- Hunk headers must be exact: @@ -LINE,COUNT +LINE,COUNT @@
- Output ONLY the patch inside a ```diff ... ``` block7B〜30B のローカルモデルに、行番号とコンテキストが完全一致する diff を書けというのは酷だ。案の定 `@@` の行番号がずれ、その壊れた diff を検証なしで適用してファイルが破損していた。しかも fallback 経路が「モデルの生 diff をそのまま使う」設計で、傷口を広げていた。
学び①: 小型モデルに行番号を書かせてはいけない。
2. 「壊さない」土台へ:SEARCH/REPLACE → difflib → 検証
作り直しの方針はシンプルにした。
モデルには SEARCH/REPLACE ブロック(「この行をこう変える」)だけを出させる。
unified diff は Python の `difflib` で機械生成する(行番号は自動で正しくなる)。
生成した diff は、捨てワークツリー上で `git apply --check`(fuzz なし)+ `ast.parse` を通過したものだけ採用。1 つでも失敗したら 空パッチにする。
空パッチはスコア 0 だが、他のテストを巻き添えにしない。「間違ったことをするより、何もしないほうがマシ」という線を引いた。
def is_patch_safe(patch, repo_dir) -> bool:
# 1) 厳格な git apply --check(コンテキスト不一致は即 reject)
# 2) 変更後の .py が ast.parse を通るか
# どちらか失敗 → False(fail-closed)合成テストで「壊れた diff は空に退避され、ファイルは無傷」を確認。ここでようやく出血が止まった。
学び②: 検証は fail-closed。怪しいものは通さず捨てる。
3. 「溢れさせない」:巨大ファイルと小さな窓
次にぶつかったのがタイムアウトだった。`astropy/table/table.py` は 21 万文字。これを丸ごとコーダに渡すと、ローカルモデルの文脈窓を食い潰し、1 回の生成が制限時間を超えて落ちる。リトライで 3 回叩いて 3 回とも timeout、という最悪のループだ。
ここで以前書いた拙作 CodeRouter のコンテキスト圧縮の発想——「捨てる前に圧縮し、それでも溢れたら切り詰める」——を持ち込んだ。
圧縮: planner が指した関数・クラスだけを AST で逐語抽出。`table.py` は 216KB → 約 12KB に。
切詰: なお予算超過なら per-file cap → 全体 budget で truncate。
原文素通し: 解析に失敗したら full(capped)に fallback。決して空にしない。
逐語抽出なのがミソで、SEARCH ブロックは実ファイルと文字単位で一致する(diff 生成は実ファイルに対して行うため)。これでタイムアウトは消えた。
学び③: ローカル運用では「窓を溢れさせない」こと自体が機能。
4. 「正しい場所を直す」:シンボル探索ローカライズ
`astropy-13236` は、対象ファイルすら特定できず空パッチだった。真の修正箇所は `astropy/table/column.py` なのに、失敗テストのパスからは `table.py` しか辿れない。planner もテストファイルしか挙げなかった。
そこで issue 本文と失敗テスト名から `Column` などのシンボルを抜き出し、`git grep` で定義元を辿るようにした。ただし素朴にやると `astropy/io/fits/column.py` のような同名の無関係ファイルまで拾い、**かえって悪化(一時 0/3 に逆戻り)**した。
修正は「精度優先」。検索範囲を失敗テストのサブパッケージに限定し、ファイル名がシンボルに一致するものだけ採用。これで `column.py` だけを正しく拾えるようになった。
学び④: 候補を増やす機能は、精度が伴わないと逆効果。スコープと一致条件で締める。
5. 「惜しい」を「正解」に:実行ガイド修復
ここまでで Valid 3/3(全件パッチ生成・破壊ゼロ)。だが Docker 採点は resolved 0。中身を見ると——`13236` は正解アプローチ(FutureWarning 追加)を自力で当てているのに、挿入箇所がずれて別テストで TypeError を誘発。`13033` も「箇所は合うが期待挙動に未到達」。惜しいのだ。
「惜しい」を詰めるには、推測ではなく実際のテスト結果を見せるしかない。そこで実行ガイド修復を実装した。
候補パッチ → 失敗テストを Docker で実行 → Traceback を圧縮 → コーダに再投入 → 再生成(数ラウンド)ランナーは差し替え可能にして、偽ランナーでループ本体をオフライン検証。実テスト実行は本物の SWE-bench Docker を叩く。最初 CLI を独自フラグで呼んで `no report.json` に詰まったが、既存の採点コードと同じ `swe_eval(...)` 関数呼び出しに揃えたら安定した。
学び⑤: 既に動いている経路に合わせる。独自の呼び方を発明しない。
6. ハードウェアの効き方:RTX 5090 で何が速くなるか
Mac(Apple Silicon)から EVO-X2 + RTX 5090 に移すと、3 件 41 分 → 17 分。ただし内訳が大事だ。
生成(推論): planner/coder が 15〜30 秒 → 2〜4 秒。GPU がはっきり効く。
Docker テスト実行: 1 ラウンド約 95〜107 秒で、ここは CPU/IO 依存で GPU 無関係。`--exec-repair` の時間の大半はこれ。
つまり「生成は劇的に速く、テスト実行は変わらない」。大規模測定は GPU 機で、exec-repair は件数を絞って、が現実解だ。
7. できたこと / できていないこと(正直に)
できた:
パッチによるファイル破壊:根絶(検証 fail-closed)
タイムアウト:解消(AST 圧縮 + 文脈窓配慮)
ローカライズ:シンボル探索で改善
実行ガイド修復:実テストの feedback ループが稼働
オフライン golden テスト 5 スイート:全 PASS
できていない:
resolved はまだ 0(試した 3 件はいずれも難問)。実テスト feedback を見せても、低温度+ほぼ同一プロンプトで似たパッチを再生成し、収束しきらない。
これはローカル 30B 級の能力上限に近い。3 件 0/3 は実力指標として小さすぎる。
ローカル環境のGPUメモリなどと相談して行う必要がある。
8. これからやること
最小失敗数の候補を返す修復ループの小修正(悪化版を提出しない)
50〜100 件のベースライン測定で素の resolve 率を把握
修復フィードバックに期待値 vs 実際を含める+修復ラウンドの温度を上げる
強コーダ(コード特化 27〜30B)の A/B
信頼性層として CodeRouter を前段に
おわりに
派手なスコアは出ていない。でも「ローカル小型モデルで SWE-bench を回すと、まず評価ハーネス自体が壊れる」という現実と、それを 1 つずつ潰していく過程は、同じことをやろうとしている人の役に立つはずだ。コードは zephel01/local-fugu に置いてある。MIT。
ローカル LLM でエージェントを回していて「なぜか全部壊れる/溢れる/0 件」に心当たりがある人は、覗いてみてほしい。
#SakanaAI #Fugu #ローカルLLM #SWEbench #ollama #qwen #マルチエージェント #RTX5090 #AIエージェント #生成AI