メインコンテンツへスキップ
見出し画像

自作SWE-benchに「天井破り」の20問を足したら、ベンチ作りの本番は較正だと思い知った話

    前回、ローカルLLMを「実際どれくらい使えるか」測るために `llmbench` という自作SWE-bench風ハーネスを作った話を書いた。40問(L1 easy 〜 L5 frontier)でローカルモデルを採点する仕組みだ。

    しばらく回しているうちに、嬉しいような困ったような問題にぶつかった。上位モデルが揃って天井に張り付くのである。35B級が L5 frontier まで含めて 97〜100%。これでは「どっちが上か」がつかない。ベンチとして、いちばん知りたい上位帯の解像度が無い。

    そこで上にもう一段、L6「architect」tier の20問(t041〜t060)を足した。本記事はその追加と、そのあとに延々と続いた較正(キャリブレーション)の格闘記です。結論を先に言うと、難しかったのは問題を作ることではなく、「作った問題が本当に効いているか」を実データで確かめ、直し続けることだった。


    何を足したか — L6 architect tier

    設計方針はひとつだけ決めていた。前回の較正で得た教訓だ。

    難しさは「バグの種類」ではなく「診断の必要量」で決まる。issueに修正方法や修正箇所を書いた瞬間、その問題は死ぬ。

    なので L6 は全20問、issueには症状だけを書く。「入力Xで期待Yなのに実際Zになる」だけ。原因の特定も、どこを直すかの判断も、ぜんぶモデルに委ねる。内訳はこう振った。

    • 複数ファイル・リポ規模(t041〜t048)8問 … 設定ローダ、クエリビルダ、イベントソーシング、プラグイン解決、DIスコープ、マイグレーション、HTTPルータ等

    • 非機能要件(t049〜t054)6問 … O(n²)、スレッド競合、asyncセマフォの解放漏れ、文脈別エスケープ等

    • 曖昧な仕様(t055〜t058)4問 … 自然言語日付、設定マージ規則、CSV方言推定、semver範囲

    • 罠・敵対ロジック(t059〜t060)2問 … 浮動小数の桁落ち、ユニコード正規化

    全部 stdlib only・決定論。隠しpytestは「最初から緑で壊してはいけない `test_core`」「バグを捕まえる `test_bug`」「性能を見る `test_perf`」に分けた。

    そして大事な設計判断がひとつ。+20問は任意オプションにした。 通常実行は今までどおり40問、`--with-l6` を付けたときだけ60問になる。既存タスク台帳 `tasks.jsonl` には足さず、別台帳 `tasks_l6.jsonl` を用意して、フラグ指定時だけマージする。日々の比較を重くしたくなかったし、後方互換も壊したくなかった。

    llmbench run --model local-openai --runs 5            # 通常40問
    llmbench run --model local-openai --runs 5 --with-l6  # 60問

    ここまでは順調だった。20問を自作し、`selfcheck`(gold全緑/buggy赤/ruff 0/複雑度A〜B)が20/20で通り、本体にマージ。ドキュメントも更新。「よし完成」と思った。完成ではなかった。


    較正1回目 — 「難しすぎ」を心配していたら「易しすぎ」だった

    評価対象は手元の `ornith-1.0`(仮名)9B と 35B を、量子化違いで計8構成。これを `--with-l6` で回してもらう。

    最初の結果を見て、目を疑った。35Bが L6 で 80%超。設計目標は「30〜35B級で 50〜70%」だったので、明確に易しい。しかも20問中8問が全構成100%正解——つまり誰でも解けて、序列に一切寄与しない「死蔵」問題だった。

    特にひどかったのが非機能・並行系(dedup、counter、LRU、semaphore)。狙いの「性能の罠」が、モデルにとっては素直に効率実装を書くだけの問題になっていた。

    一方で、ちゃんと効いている問題もあった。イベントソーシング、DIスコープ、マイグレーションの原子性、CSV方言。これらは 35Bと9Bを綺麗に割っていた。識別力は一部の問題が一手に担い、残りは遊んでいたわけだ。


    失敗した対策 — 「エッジを足す」では強いモデルは落ちない

    最初に打った手は、死蔵8問の隠しテストに敵対的なエッジケースを足すことだった。3層の優先順位、ハッシュ不可能要素、アトミックなget-and-reset、キャンセル時の解放、LRUの参照更新、URL文脈のエスケープ……。それぞれ「一見正しい修正では落ちる」境界を仕込んだつもりだった。

    `selfcheck` は20/20で通る。満足して計測してもらった。そして5-runで実測した結果、7問が依然として9B・35Bとも100%。効いたのは1問だけ。

    ここで腹落ちした。単一次元のエッジ追加は、強いモデルには通用しない。 3層precedenceもunhashable dedupもキャンセル安全も、LLMにとっては教科書に載っている既知パターンで、9Bですら普通に全部踏んでくる。私が「ちょっとした罠」と思ったものは、彼らには素通りの常識だった。自分のミスを認めるのは気が進まないが、ハードニングはほぼ空振りだった。


    効いた対策 — 「結合バグ」

    ヒントは自分の過去作にあった。L5 frontierで識別力が高かった問題(t035, t037)は、共通して「2つの結合したバグを内包し、片方だけ直すともう片方のテストが落ちる」構造をしていた。1次元ではなく、診断を二重にする。

    そこで死蔵問題を、この結合バグ構造で作り直した。例:

    • t041 設定ローダ: ①env > file の優先順位が逆 ②file層由来の値が型変換されない。順序だけ直すと型のテストで落ち、型だけ直すと順序のテストで落ちる。

    • t054 ネストSQL: ①ネスト条件で値が文字列補間される ②Postgres方言のプレースホルダ連番を再帰で貫通させる。再帰だけ直しても `?` のままでは落ちる。

    • t049 dedup: ①O(n)化 ②key関数の尊重+ハッシュ不可要素。`set`だけでも`list`走査だけでも両立しない。

    `selfcheck` の確認方法も変えた。`test_bug` の中にバグごとの独立アサーションを置く。片方しか直っていなければ必ずどれかが落ちる。

    再計測の結果は明快だった。死蔵が 8問 → 1問に激減。 9Bが軒並み落ちはじめ、35Bとの差が広がった。t054 などは 35B 80% / 9B 0% と、サイズをスパッと割った。

    教訓を一般化すると、良い難問は「2つ以上の独立した気づきを同時に要求する」。1個の賢い罠より、2個の地味な罠の組み合わせのほうが、モデルの「診断力」を測れる。


    較正の落とし穴 — 全部0点のモデルを信じてはいけない

    最終確認で全8構成を並べたとき、1つだけ妙な構成があった。35B-Q5 が L6 で全問0%。「Q5量子化だけ極端に崩れる?」と一瞬考えたが、ログを見て腑に落ちた。

    fail_reason: ... Connection refused (localhost:8085) × 26件
    resolved by tier: easy 5/5, hard 10/10 ... frontier 1/8, architect 0/20

    途中まで普通に解けていて、後半が全部「接続拒否」。推論サーバが走行中に落ちただけだった。難易度ではなく、インフラ事故。これを混ぜて平均を取ると 35Bの L6 が 49.7% まで下がり、結論を完全に誤らせるところだった。異常値として除外し、ユーザーにリトライしてもらったら、ちゃんと72%で返ってきた。

    ベンチを回す側の地味だが大事な作法:「説明のつかない極端な数字は、まず計測自体を疑う」。モデルの優劣の前に、測定が壊れていないかを見る。


    最終結果と「使えるライン」の確定

    リトライ込みの全8構成(結合バグ版・各5-run)が、こう落ち着いた。

    画像

    下位tier(easy〜frontier)は全構成 88〜100% で飽和しているのに、architect だけが 35B≈74% / 9B≈53% と綺麗に分かれた。狙いどおり、L6が上位帯の解像度を担ってくれている。

    これを踏まえ、合否ラインを確定した。

    L6(architect)合格 = 成功率 ≥ 60% かつ combined ≥ 58

    35Bは3構成すべて合格、9Bは5構成すべて不合格。成功率と品質の両軸で割れるので頑健だ。暫定で置いていた 55% だと、9Bの一部(Q5の57%、Q8の56%)が成功率では超えてしまい、combined頼みで脆かった。実データを見て初めて、安全なラインが分かった。

    おまけに、L6は量子化の差まで解像していた。9Bは Q5 > Q8 > bf16 > Q6 > Q4 とおおむね順当に並び、Q4が明確に最弱。下位tierでは潰れていた差が、難所では見える。


    作ってみて分かったこと

    ベンチマークを「作る」のは、正直いちばん楽しいところだ。問題を考え、罠を仕込み、selfcheckが緑になると達成感がある。でも今回いちばん時間を使ったのは、その後だった。

    • 作った難しさは、たいてい想定より易しい。 強いモデルは既知パターンを素通りする。1次元の罠は効かない。

    • 効くのは「結合」。 2つ以上の独立した気づきを同時に要求して初めて、診断力が測れる。

    • 較正してはじめて「効いているか」が分かる。 自分の直感(このバグは難しいはず)は何度も外れた。実データだけが正しかった。

    • 測定そのものを疑う作法が要る。 全0のモデルは、弱いのではなく計測が壊れている。

    そして地味に効いたのが、+20問を任意オプションにした判断。通常運用は40問のまま軽く保ち、上位帯を見たいときだけ60問。較正でタスクを何度も差し替えたが、本体の既定挙動は一度も壊さずに済んだ。後方互換を最初に確保しておくと、あとで自由に殴り直せる。

    L6は較正完了。`--with-l6` で誰でも60問版を回せる。残る宿題はひとつ、カウンタ(t050)だけが唯一の死蔵として残っている——教科書的な並行処理は、結合バグにしてもなお強いモデルに通用しなかった。これはたぶん「複数ファイル・ステートフル化」まで踏み込まないと割れない。次の宿題にしておく。

    ベンチ作りは、作って終わりじゃない。較正が本番だった、という話でした。


    リポジトリ: https://github.com/zephel01/swe-bench / L6は `--with-l6` で有効化できます。

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ