
自作SWE-benchをL7まで拡張して、ローカルLLMの「使えるライン」を一枚に引き直した話
最初の記事では、ローカルLLMが「実際どれくらい使えるか」を測るために `llmbench` という自作SWE-bench風ハーネスを作り、L1 easy 〜 L5 frontier の40問と `certify`(合否判定)を用意した話を書いた。次の記事では、上位モデルが揃って天井に張り付くのを見て L6 architect の20問を足し、「難しさは較正してはじめて分かる」と思い知った顛末を書いた。
その第2弾の末尾で、私はひとつ宿題を残していた。カウンタ(t050)だけが唯一の「死蔵」として残る——教科書的な並行処理は、結合バグにしてもなお強いモデルに通用しない。たぶん「複数ファイル・ステートフル化」まで踏み込まないと割れない、と。今回はそこに手を入れます。L7 grandmaster tier の40問(t061〜t100)を追加し、ついでに L1〜L7 の全体を一枚に並べ直しました。各tierで何が測れるのか、そしてローカルLLMが何をクリアできれば「使える」とみなすのか。集大成として、地図を描く回です。
いま、L1〜L7を一望する
まず全体像です。`llmbench` は既定で40問、`--with-l6` で60問、`--with-l7` で80問、両方付ければ100問になります。全タスク stdlib-only・決定論。tierは「バグの種類」ではなく「診断に必要な推論の量」で段階を切っています。

下に行くほど、issueに書かれる情報が減っていきます。L1は「ここが1行おかしい」から始まり、L4以降は「入力Xで期待Yなのに実際Zになる」という症状だけ。原因の特定も、どこを直すかの判断も、ぜんぶモデルに委ねます。この記事を貫く設計思想はひとつです。
「使える」は下位tierの積み上げで決めない。L4という一本の線を、独立に越えられるかどうかで決める。
L1〜L3 — おもちゃ級から、実務の単純バグまで
まず土台の3段。ここは「任せていいかどうか」を段階的に確かめる帯です。
L1 easy は1行修正の基本バグを即時特定できるか。t001 の off-by-one(`range(1,n)` を `n+1` に)、t003 の mutable default 引数あたり。おもちゃ級は確実に踏めて当然、踏めなければ話が始まらない、という足切りです。
L2 medium になると、原因特定に1段階の推論が入ります。t006 の閏年3段判定(1900年問題をちゃんと落とせるか)、t008 の二分探索の返り値契約、t010 の CSV 引用符(新規実装型)。仕様準拠の単純作業は任せられる帯です。ここで意外にモデルが落ちる、というのが後で効いてきます。
L3 hard は複数ファイル・ステートフル・明示的制約が絡みます。t012 の cart は「正しいファイルを触らない判断」を問い、t014 の scheduler は heapq の優先度符号反転に加えて「同点は FIFO を維持せよ」という制約遵守まで求める。t011 は LRU の退避方向が逆転している。実務の単純〜中級バグは任せられる、というのがこの帯の到達点です。
で、この3段だけで最初は運用していたんですが——上位ローカルコーダーが軒並み頭打ちになった。だから上を足すことになった、というのが前2作の流れです。
L4 expert — ★ここが「使えるライン」
`llmbench` でいちばん大事な一本の線が L4 です。ここから issue が完全に症状ベースになる。失敗例だけを見せて、修正手順は一切書かない。原因診断そのものをモデルに要求します。
t021 Decimal 丸め規約(銀行家丸め → half-up の取り違え)
t027 貪欲法 vs DP(アルゴリズムの選択そのものが誤り)
t029 全角文字幅の数え違い
t032 演算子の結合性
このあたりを「症状だけ」から診断できるか。私はこの帯を 「監督付きで実務投入できる」ラインと位置づけています。人間のレビューを挟む前提なら、ここを越えていれば仕事を振れる。だから合否判定でも、L4を特別扱いしています(詳しくは後述)。
L5・L6 — フロンティアとアーキテクト
L5 frontier は一気にリポジトリ風になります。隠しテストの `tests/` を、壊してはいけない回帰罠の `test_core.py` と、バグを捕まえる `test_bug.py` に分離。さらに 2つの結合バグ(t035 / t037 / t039 / t040)を仕込み、`perf_timeout` 20秒で性能も見ます。t036 は SQL インジェクション、t040 は VM に2バグ+性能の複合。片方だけ直すともう片方が落ちる構造で、診断を二重化しています。ここが「フロンティア級」。
L6 architect は前回追加した20問。4つのサブ群に振ってあります。
複数ファイル8問(t043 event sourcing の二重計上、t048 http ルータ)
非機能・性能6問(t049 O(n²)、t053 XSS の文脈別エスケープ)
曖昧仕様4問(t057 CSV 方言の RFC4180 一般化)
罠・敵対2問(t059 Kahan 加算、t060 Unicode 正規化)
「アーキテクト級」。この帯は前回きっちり較正しました(後述の実測表参照)。
L7 grandmaster — 5軸40問の天井評価帯
そして今回の本題、L7。40問(t061〜t100)を 5つの軸 × 各8問で構成しました。狙いは実務判定ではなく、**最上位帯の頭打ちを検出する「天井評価帯」**です。
軸A 数値安定性(t061–068) … t061 は Welford の分散。大きなオフセット(1e9)を与えると、素朴な `E[x²] − E[x]²` が桁落ちで 0 に潰れる。t063 は二次方程式の桁落ち。
軸B 状態一貫性(t069–076) … t070 はネストしたトランザクションの undo ログ継承、t071 は WAL リプレイ。ここが前回の宿題「ステートフル化」の直球です。
軸C 複数結合バグ(t077–084) … 各問に 2バグを別ファイルに分散。部分修正は不合格(スクリプトで総当たり検証済み)。t079 の serializer は エスケープ漏れ+`bool("False")` が `True` になる2段。これが宿題の「複数ファイル化」の回収です。
軸D 深い並行性(t085–092) … 確率任せにせず、計装ゲートで強制インターリーブして決定的に捕捉します。t085 はデッドロック(id順ロックで回避)、t089 は TOCTOU。gold は10回連続で緑、buggy は10/10 失敗を実測済み。
軸E 敵対的パース・セキュリティ(t093–100) … t093 は二重エンコードの traversal、t098 は ReDoS(40問中ここだけ `perf_timeout: 30`)、t100 は `str.format` 経由で `globals` へ到達させない防御。
前回、私は「t050 のカウンタは複数ファイル・ステートフル化まで踏み込まないと割れない」と書きました。軸Bと軸Cが、まさにそこです。単一次元の罠が強いモデルに通用しないなら、状態と複数ファイルに散らして、診断を三重四重にする。宿題は L7 で回収した、という流れです。
llmbench run --model local-openai --with-l7 --runs 5 # 計80問
llmbench run --model local-openai --with-l6 --with-l7 --runs 5 # 計100問隠密性 — L7で入れた「静かに壊れる」という機械強制の基準
L7で新しく足した、地味だけど効いている仕掛けが隠密性基準です。ルールはこう。
全40問で、buggy 版は `test_core.py`(回帰罠)を必ず全緑で通過する。
つまり、lint や正常系テストでは絶対に見えないバグしか入れない。表面上はちゃんと動くのに、特定の条件でだけ静かに壊れる。前掲の t061(大オフセットでだけ分散が潰れる)、t079(`"False"` という文字列でだけ真偽が反転する)、t089(あるインターリーブでだけ競合する)——どれも「普通に使う分には気づけない」ものです。
これを人手で保証すると必ず漏れるので、`selfcheck` で機械強制しました。gold は緑・buggy は赤・隠密性(core全緑)・ruff 0 を 40/40 自動検証済み。軸Cの「部分修正は不合格」も、軸Dの「決定性」も、スクリプトが担保しています。ベンチは作って終わりじゃない、というのが前回の教訓でしたが、今回は検証を最初からコードに埋め込んだわけです。
certify gate と「使えるライン」の独立判定
さて、合否判定 `certify.py` の話です。各tierの gate は `DEFAULT_GATES` に定義されていて、コードが正。README/USAGE.md に載っている「L6 succ≥55%/comb≥60」は更新漏れの旧値なので、ここではコード値を使います。

ここで一番言いたいのは、「使える」= L4を独立に合格すること、という設計です。下位tierの取りこぼしに左右されない、非累積判定。累積の到達レベル(連続で合格した最上位)は参考指標に留めます。
なぜ独立判定にしたか。実データがそれを要求したからです。qwen2.5-coder の 7b / 14b は L2 で落ちます(80% / 76% < 85%)。閏年や返り値契約みたいな「1段階の推論」を、なぜか取りこぼす。累積で見れば L1止まりです。でも同じモデルが、L4 は独立に合格する(72% / 85%)。症状ベースの原因診断はできるのに、その手前のL2でつまずく。累積だけで見ると「L1のおもちゃしか無理」と誤判定してしまう。だから「使えるか」は、L4という一本の線で独立に問う。これが今回の地図の背骨です。
なお L7 の min_success(35%)が L6(60%)より低いのは、弱いからではありません。L7は天井評価帯——実務ラインではなく「最上位モデルの頭打ちを見る」ための帯なので、あえて低く置いて上澄みの弁別に使います。実務で「使えるか」を問う線は、あくまで L4 です。
スコアの決め方と、実測 — そして天井効果の歴史
合否の芯になる combined スコアはこう定義しています。
combined = success_frac × (0.5 + 0.5 × quality/100) × 100`quality` は ruff 0.4 + radon(MI/CC)0.3(`llm_review 0.3` は無効化しているので、再正規化で約 57%:43%)。ポイントは、動かないコードは品質に関わらず0点ということ。毎回成功すれば品質で 50〜100点に乗り、たとえば 60%成功 × 品質90 なら 57点。主指標は pass@1(成功率)、`--runs N` で平均します。
実測(runs=1)はこうなりました。

7b でも 14b でも、L4は独立に越える。「監督付きなら実務投入できる」ラインには、7B級ですでに乗っているわけです。一方 30b は全tier連続合格で L5 まで到達。L6は前回較正済みで、ornith 35B-Q4 が 74.0% / 9B-Q4 が 58.0%——16ポイント差できっちりサイズを分離しました。
そして L7 の実測はゼロ。ここは正直に書きます。検証済みなのは構造の健全性だけ(selfcheck 40/40:gold緑 / buggy赤 / 隠密性 / ruff0、軸Cの部分修正が不合格になること、軸Dの決定性)。モデルによる較正はこれからです。
この tier 拡張の歴史そのものが、天井との追いかけっこでした。L1〜L3の20問で上位ローカルコーダーが頭打ちになり → L4/L5を足して certify を導入 → それでも L5で27〜35B級が再び天井 → L6を20問足し → その L6 すら 27B dense がほぼ踏破(最上位2モデルの差は実質1問、生きた弁別タスクは t059 / t047 / t046 / t043 の4問程度)→ そして今回 L7の40問。天井は、足すたびに一段上がってまた張り付く。だから未較正の L7 が、次の主戦場です。
まとめ
L1〜L7を一枚に並べ直して見えたことを、3点に。
「使える」は積み上げではなく、一本の線。 L4(症状ベースの原因診断)を独立に合格できるか——それだけを問う。L2で落ちても L4を越えるモデルは実在するので、累積で切ると誤る。
難しさは「診断の必要量」で作る。 L1の1行修正から、L7の「状態+複数ファイル+強制インターリーブ」まで、罠の数と分散で段を切った。前回の宿題(t050/ステートフル化・複数ファイル化)は、L7の軸B・軸Cで回収した。
検証はコードに埋め込む。 L7の隠密性(buggyがcore全緑)・部分修正の不合格性・並行の決定性は、全部 selfcheck が 40/40 で機械強制する。人の直感は何度も外れたので、もう最初から自動化した。
`--with-l7` を付ければ、誰でも80問版(L6併用で100問)を回せます。地図は描けた。tierも隠密性も selfcheck も緑。でも——L7だけは、まだ一度も実モデルで殴られていません。前回「較正が本番だった」と学んだそばから、今回はその本番を丸ごと宿題に残しています。地図を描くのは楽しいが、地図が正しいかは走ってみないと分からない。L7の実モデル較正、それが次回です。
リポジトリ: https://github.com/zephel01/swe-bench / L7は `--with-l7`、L6併用は `--with-l6 --with-l7` で有効化できます。天井を上げたつもりが、また張り付かれるのか。それを確かめるのが、たぶんいちばん面白いところ。