
Resolved 87.5%:Claude Opus 5 だけが通した1問と、9実行すべてが落ちた2問
GLM/Qwenは最新を取ってなかったのでQwen3.8-Max出た時点で再度取得予定
こんにちは、くーるぜろです。
自作のSWE-Bench風ベンチ「llmbench」には、最上位帯として L7「grandmaster」 という難易度帯があります。7/21に台帳をv2へ入れ替えて以降、qwen3.6-flash・GLM-4.7・Gemini 3.6 Flash と同じ16問を回してきました。ここに今回、Claude Opus 5 を `claude -p`(Claude Code CLIのヘッドレス実行)経由で投げ込みました。定額サブスクの枠でベンチを回す `claude-sub` バックエンドを使った初の本格実行です。
先に結論を置きます。Claude Opus 5 は 14/16(87.5%)。同じ16問を解いた9実行の中で、Resolved・Quality・Combined のすべてで最高値でした。 ただしこの記事のおもしろいところは順位ではありません。9実行中Opus 5だけが通した1問(t103) と、Opus 5を含む9実行すべてが落ちた2問(t101・t105) の中身です。そこに「最上位のコーディングモデルに何ができて何ができないか」がかなりはっきり出ました。
先に断っておく土俵の違い
順位表を出す前に、この比較には構造的なハンデ差があることを筆者から書いておきます。

つまり Claude 側は「モデル単体」ではなく「Claude Code というエージェント製品」を測っています。同じ土俵ではありません。 ベンチの設定ファイルにも「`type: openai` の素の補完と同列比較しないこと」と明記してあり、筆者もそのつもりで書きます。
とはいえ、実務で人が触るのは素のAPIではなくCLIやIDE統合であることのほうが多い。「製品として投げたらどこまで解けるか」は、それはそれで測る価値のある数字だと考えています。以下の順位は**「素のモデル同士のガチンコ比較」ではなく「実務で使う形で投げたときの到達点」**として読んでください。
今回測ったもの:L7「grandmaster」16問
L7 は llmbench の最上位帯で、「実務投入ライン」を測る L4(expert)とは目的が違います。上位モデルが横並びになる天井を破るための帯です。
7/21に台帳をv2へ入れ替え、旧40問(t061〜t100)は `tasks_l7_v1.jsonl` に歴史保存。現行のv2は16問で、内訳は次のとおりです。
v1からの残留9問: t063, t064, t068, t069, t076, t085, t092, t093, t095
v2の新規7問: t101〜t107
v2新規の7問は性格がはっきりしていて、記事の主役もここです。

共通するのは、「バグを見つける」より「直したあとに何も壊さない」ほうが難しいという設計思想です。issueには症状しか書かれておらず、原因のファイルも行も教えてくれません。そして3多重oracleの問題は、3つのうち1つでも直し漏れると部分点なしで0点です。
検証環境
ベンチ: 自作 llmbench(SWE-Bench風・stdlib-onlyで外部依存なし)
台帳: `tasks_l7.jsonl`(L7 v2・grandmaster 16問)
実行コマンド: `llmbench run --model claude-sub --only-l7`
issue言語: `en`
実行回数: 1run(全モデル共通)
難易度内訳: grandmaster 16問(単一帯)
品質評価: ruff(静的解析)+ radon(保守性指数MI・循環的複雑度CC)。LLMレビューとSonarQubeは無効
判定: タスク付属の pytest が全通過で RESOLVED
比較対象は同じ16問・同じ1runで回した以下の実行です。

`[1m]` は1Mコンテキスト版を指すと思われますが、これはハーネスがCLIの応答から拾った文字列そのままで、筆者が別途確認したものではありません(自信度: MODERATE)。
結果サマリ

結論: Claude Opus 5 は Resolved 87.5%・Combined 82.3 で、比較9実行のどの指標でも最高。2位グループ(75.0%)との差は2問ぶん。ただし Opus 5 はエージェント製品経由なので、この差をそのまま「モデルの地力の差」とは読めない。
Quality平均は通ったタスクだけの平均なので、分母がモデルごとに違います(Opus 5=14問 / qwen-coding #1=8問 / gemini-flash-lite=11問)。母数を揃えた比較をしたいときは Combined 平均のほうを見てください。
同一モデルの複数runは代表値を選ばず全部並べました。ただし qwen-coding #1 は3問(t064・t093・t095)が read timeout で生成に到達しておらず、50.0% はその3問を「失敗」に数えた値です。生成できた13問で見れば 8/13(61.5%)。モデルの振れとして読める範囲は 61.5%〜75.0%(13.5pt、16問換算で約2問ぶん)、glm-coding は2回で 62.5%〜75.0%(12.5pt)。これについては後で1章使います。
使えるラインの目安
llmbench は Resolved に加えて usability(🟢自律 / 🟡補助 / 🔴不可) を出します。「レビューほぼ不要で任せられるか」の三段階です。
Claude Opus 5 は 🟢自律 12/16(75%)・🟡補助 2/16(12.5%)・🔴不可 2/16(12.5%)。ハーネスが自動で付ける総合推奨も「補助つき運用が無難」でした(レポートの表示は小数を切り捨てて12%になっています)。最上位帯で🔴不可が2問残る以上、この難度のタスクを無レビューで丸投げするのはまだ早い、という判定です。妥当だと思います。
発見1:t103 — 9実行中、Opus 5 だけが通した1問
タスク別の成否を全実行で並べると、1問だけ縦に見事な差が出ました。
(note投稿時はこの表を `02_matrix.png` に差し替え)

`*` は生成エラーで解答に到達しなかったセルです(qwen-coding #1 の t064・t093・t095 は read timeout、gemini-flash-lite の t107 は 429 クォータ超過)。テストに落ちたのではないので、モデルの失敗としては数えないでください。
t103 は「既存コードが呼びまくっている `search(q, filters)` を壊さずに、`search(SearchRequest(...))` という新しい呼び方を足せ」という課題です。旧形式には `LegacySearchDeprecated`(DeprecationWarningの専用サブクラス)を出して移行状況を追えるようにする、という指定もつきます。しかもこのタスクは buggy_code が無く、ゼロからファイル一式を書き起こすタイプです。
新旧2つの呼び方を1本で受けるところまでは、テスト出力が残っている3実行(Opus 5・glm-coding #1・gemini-flash)すべてができていました。差がついたのはテストのここです。
# テストが要求している後方互換の条件
req = SearchRequest(q="python")
with pytest.raises(TypeError):
search(req, {"category": "book"}) # 旧引数の混入は事故なので通してはいけない`isinstance` で素直に分岐する実装を書くと、第2引数 `filters=None` が残ります。すると `search(req, {...})` は例外を投げず、フィルタを黙って捨てる。実際、glm-coding #1 も gemini-flash も `tests/test_bug.py:56` の `test_new_api_rejects_positional_filters` という同一のテスト・同一の行で落ちていました(ハーネスは `-x` で走るので、それ以降のテストは実行されていません)。
# 他モデルの生成コードは保存されていないため、落ちたテスト名から筆者が再現した実装(自信度: MODERATE)
# 第2引数が残るので search(req, {...}) が黙って通る
def search(q_or_request, filters=None):
if isinstance(q_or_request, SearchRequest):
return execute_search(q_or_request) # filters は無視される
...Opus 5 だけが、引数の解釈と検証を別の層に切り出していました。
# Claude Opus 5 — SearchRequest 形式に余分な引数が付いたら明示的に拒否
if request is not None:
if not isinstance(request, SearchRequest):
raise TypeError(...) # 型そのものの検査
if args or kwargs:
raise TypeError("search(SearchRequest) takes no other arguments")
return request, False`*args, **kwargs` で受けてから `_coerce_request()` で組み合わせを検証し、曖昧な呼び方を能動的に `TypeError` にする。さらに `@overload` で2つの呼び出し形を型として宣言し、`SearchRequest` は `frozen=True` + `post_init` で `filters` を dict にコピーして正規化、`init.py` で `all` を定義。4ファイル・187 LOC・98.1秒・8,583トークンを投じています。同じ実行の他タスクが 434〜4,012トークン / 9.6〜50.6秒であることを考えると、ここだけ明確に設計へ時間を使ったのが数字から見えます。結果は 21テスト全通過。
この差は「賢さ」というより規律だと筆者は読みました。「新形式に旧形式の引数を混ぜて渡す」のは書き手の移行ミスであって、黙って通すと本番で「フィルタが効かない」という発見しにくいバグになる。それを言われていないのに拒否したのが Opus 5 だけだった、というのがこの1問の中身です(自信度: MODERATE — 他モデルの生成コード自体は保存されておらず、失敗テスト名の一致と再現実験からの推定です)。
発見2:t101・t105 — 9実行すべてが落ちた2つの鬼門
一方で、Opus 5 も含めて9実行すべてが落ちた問題が2つあります。順位の話より、こちらのほうが中身があります。
t101:診断は全問正解、なのに0点
ログローテータ(`writer.py` / `rotator.py` / `naming.py` の3ファイル)に3つのバグが仕込まれています。issueには症状だけ:「境界で回転が発動しない」「回転後に過去データが消える」「10世代目以降の並び順が壊れる」。
Opus 5 の生出力を読むと、3つとも正しく診断できています。
naming.py — generation_key() returns the digits as a str, giving lexicographic order ("10" < "2"). Return an int.
問題は最後の一文です。辞書順ソートの症状に対して、誰が見ても最短の修正は `int(part)` を返すこと。実際、Opus 5 はそう書き、glm-coding #1 と gemini-flash も同じ `TypeError` で落ちている以上、同じ修正に到達したと見られます。ところがこの関数の公開シグネチャは `-> str` で、docstring にも "the returned string" とある。戻り値の型を勝手に変えた瞬間、`key=` 以外の用途——ここでは長さを検査するテスト——が壊れます。
# buggy — 辞書順なので "10" < "2"
def generation_key(name: str) -> str:
for part in name.split("."):
if part.isdigit():
return part
# gold — 型は str のまま、幅を揃えて数値順にする
_PAD_WIDTH = 4
def generation_key(name: str) -> str:
for part in name.split("."):
if part.isdigit():
return part.zfill(_PAD_WIDTH) # "0002" < "0010"Opus 5 の結果は 8 passed / 1 failed。落ちたのはこれだけです。
FAILED tests/test_bug.py::test_generation_key_width_is_stable
E TypeError: object of type 'int' has no len()そして glm-coding #1 も gemini-flash も、行番号まで完全に同一の TypeError で落ちています。9テスト中8テストが通っても、3多重oracleは部分点なしなので Quality 0 / Combined 0。
この連載でよく書く「1回成功と安定して解けるは別物」の隣に、もうひとつ言葉を足したくなりました。「症状が直っている」と「契約が守られている」は別物です。t101 が突いているのは、レビューで最も見落とされる種類の退行だと思います。
t105:issueに書かれていない不変条件
`User.name` を `first_name`/`last_name` に分割しつつ、ディスク上の旧JSON `{"name": "Alice Wonder"}` も読めるようにする、という後方互換リファクタです。
データクラスの分割、`name` プロパティの維持、新旧スキーマ両対応の読み込み、往復保存——本体のリファクタは、テスト出力が残っている3実行すべてが正しく書けています。落ちているのは `migrate_legacy()` の細部だけ。
# Claude Opus 5 の実装 — 新スキーマなら「そのまま返す」
if "first_name" in record or "last_name" in record or "name" not in record:
return record
# gold — 浅いコピーを返し、どちらのスキーマでもない record は拒否する
if "first_name" in record and "last_name" in record:
return dict(record)
...
raise KeyError("record must have either 'name' or both 'first_name' and 'last_name'")テストが要求しているのはこの2点です。
assert result == src
assert result is not src # 入力と同じ辞書オブジェクトを返すな(浅いコピーであれ)
with pytest.raises(KeyError):
migration.migrate_legacy({}) # 空 record は黙って通すなこの2条件は issue.md に一切書かれていません。 issueの受け入れ条件は "Records already in the new schema pass through `migrate_legacy` unchanged." だけで、日本語にすれば「そのまま返す」としか読めない。gold の docstring にだけ "returned as a shallow copy" とあります。
ハーネスは `-x`(1件目の失敗で停止)で走るので記録は「1 failed, 9 passed」ですが、`-x` を外して回し直すと Opus 5 は2件失敗(浅いコピー・空record例外の両方)。glm-coding #1 は浅いコピー(`test_consistency.py:27`)を通過したうえで、空recordの `KeyError`(同41行)で停止しています。gemini-flash は Opus 5 とまったく同じ `is not src` で落ちています。
ここは両論併記にしておきます。「入力辞書を共有しない」「想定外入力は早期に例外にする」は防御的プログラミングの基本習慣で、言われなくてもやるのが望ましい——という読み方が一つ。もう一つは、仕様に書いていない条件をテストが要求しているのだから問題側の情報不足という読み方。筆者は後者の色も濃いと思っていて、t105 は次のv2改訂で issue を書き足すか、テストを緩めるかの検討対象にします(自信度: MODERATE)。ベンチを作った側として、ここは直す責任があります。
発見3:同じモデル・同じ16問を4回回したら、61.5%〜75.0%で振れた
この記事でいちばん実務に効く数字は、Opus 5 の 87.5% ではありません。
qwen-coding(qwen3.6-flash)を、同じ16問・同じ設定で4回回した結果です。

ここで自分の教訓に自分で引っかかりました。#1 の「50.0%」のうち3問(t064・t093・t095)は、Alibaba 側への read timeout(600秒)で生成そのものに到達していません。 qwen-coding の設定は `transient_retries: 0` でリトライしないため、通信断がそのまま失点になります。
生成できた13問で見ると 8/13 = 61.5%。**4回の振れ幅は 25pt ではなく 13.5pt(16問換算で約2問ぶん)**が正しい読みです。glm-coding は2回で 62.5%〜75.0%(12.5pt)。
それでも、同じモデル・同じ設定の単発実行がタスク約2問ぶん振れるという事実は変わりません。もし筆者が #1 の数字だけを引いて「qwen3.6-flash は L7 で50%」と書いていたら、二重に誤解を招くところでした。この連載の背骨に「1回の結果で語らない」を置いているのは、まさにこれが理由です。
そして同じ物差しを自分に向けます。今回の Claude Opus 5 の 87.5% も 1run です。 2位グループ(75.0%)との差は2問ぶん(12.5pt)で、上の振れ幅(約2問ぶん、13.5pt)とほぼ同じ大きさ。「Opus 5 が最高スコアだった」は言い切れますが、「Opus 5 のほうが強い」は、この1runだけからは断定しません。 5runs での再検証は次回に回します。
ただし補助線を1本引いておくと、t103 は Opus 5 が9実行中ただ1つ通した問題で、他8実行は全部同じテストで落ちている。これは運の振れというより設計方針の差に見えます(自信度: MODERATE)。
Claude Opus 5 のタスク別 全結果

16問合計で 35,477トークン・448秒。ruff の指摘は4問で各1件のみ(B007 / SIM117 / E501×2)で、指摘密度は総じて低い。書いたコードの静的品質は安定して高いです。
面白いのは t101 と t105 の MI(保守性指数)が 80 と 95 で、失敗した2問のコードがきれいだったこと。読みやすく複雑度も低いコードを書いたうえで、テストが要求する契約に届かなかった。「品質が高い」と「正しい」は別軸という、このベンチが Resolved と Quality を分けて出している理由がそのまま出ています。
もう1つ、最大CC が C(=`parse()` の CC=16)になったのは t107 だけです。strictモードの追加で分岐が増えた結果ですが、Quality 83.5 は保てています。
速度の話(読み方の注意つき)
先に注意書きを3つ置きます。この章の数字だけを取り出して比較しないでください。
Claude Opus 5 の tok/s は CLIエージェント経由の実測です。CLI内部のオーバーヘッドや思考トークンの扱いが他と違うので、素のAPI補完の数字と並べても意味がありません。
同一モデルでも実行時期で桁が変わります。 qwen-coding #4 の tok/s中央値135.1は、#1〜#3(48.8 / 54.2 / 54.4)の倍以上。サーバ側の負荷や経路の条件差と見るのが自然で、モデルの速度差ではありません(自信度: MODERATE)。
速い=賢いではありません。 gemini-flash-lite は tok/s中央値212.1で今回いちばん速いですが、Quality平均59.2は最下位です。

実務的に意味があるのは tok/s より16問を通す総所要時間のほうで、Opus 5 は 448秒(約7.5分)。qwen-coding #1 の 3,013秒(約50分)と比べると、同じ16問を6.7倍速く片づけています。なお qwen-coding #1 の1タスク中央値167.0秒は、read timeout で `latency_sec` が0記録になった3問を含む全16問の中央値です。実際にはその3問で各600秒待っているので、壁時計はもっと長い。「6.7倍」はむしろ Opus 5 に不利な側の見積もりになります。ただしこれもCLI経由とAPI経由の混在比較なので、参考値として置きます。
計測不成立:gemini-pro の 0%
同じ16問を `gemini-pro` でも回した記録が残っていて、Resolved 0.0%(0/16) です。これはモデルの実力ではありません。
fail_reason: "generation error: 429 Too Many Requests ...
You exceeded your current quota"全16問が生成にすら到達していません。 APIのクォータ超過で、`parse_ok` も全て false。比較表から外し、ここに理由だけ書き残します。`gemini-3.1-pro-preview` の L7 は未計測です。クォータを空けて取り直します。
0% を見たらまず「本当にモデルが解けなかったのか、そもそも生成できていないのか」を artifacts で確かめる。この連載で毎回それをやっているのは、こういうケースがあるからです。そして今回は、同じ検査を自分の比較対象にも向けるべきだったというのが反省点でした(発見3の qwen-coding #1、成否マトリクスの `❌*` 4セル)。
まとめ:この16問で何が測れているのか
測っているのは「バグを見つける力」ではなく「直したあとに何も壊さない力」です。
t101 は3つの症状をすべて正しく診断できても、`-> str` という公開型契約を `int` に変えた瞬間に0点になる
t103 は新旧APIを両立させるだけでなく、曖昧な呼び方を能動的に拒否できるかを問う
t105 は issue に書かれていない不変条件(浅いコピー・空入力の例外)を自分で補えるかを問う
つまり 症状から原因を逆算する力 × 既存契約を保つ規律 × 明文化されていない防御的実装 の三点セット。Claude Opus 5 の 14/16 は、主に2つめと3つめの軸で他モデルを引き離した結果です。少なくとも t101 に関する限り、原因の特定そのものは差になっていません。 生出力が残っているのは Opus 5 だけですが、glm-coding #1 と gemini-flash も同じ行・同じ `TypeError` で落ちている以上、3実行とも `int` を返す同じ修正に到達していたとは言えます。差は「型を変えたか変えなかったか」の一点でした(自信度: MODERATE — 残る6実行は生出力もテスト出力も残っていません)。
今回の教訓
「症状が直っている」と「契約が守られている」は別物。 t101 は、生出力の残っている Opus 5 が3つの症状をすべて正しく診断したうえで、公開シグネチャを1箇所変えて0点になった。同じ `TypeError` で落ちた glm-coding #1・gemini-flash も同じ罠を踏んでいる。AIにリファクタを任せるなら、レビューで見るべきは「バグが直ったか」ではなく**「他に何が変わったか」**。
「品質が高い」と「正しい」も別軸。 Opus 5 が落とした2問の MI は 80 と 95 で、成功した問題より高いものすらある。読みやすさは正しさを保証しない。
単発実行で優劣を語らない。 同一条件の qwen-coding 4回は、生成エラー分を除いても 61.5%〜75.0% で振れた。今回の 87.5% も 1run であり、2位との2問差はその振れ幅と同程度に収まる。
0%や極端に低い数字を見たら artifacts を開く。他社モデルだけでなく、自分の比較表の数字にも。 gemini-pro の0%はクォータ超過、qwen-coding #1 の3失点は read timeout、gemini-flash-lite の t107 は429で、いずれも実力ではなかった。
エージェント製品とモデル単体を混ぜない。 Claude 側だけ `claude -p` 経由なので、順位はそのまま地力の順位ではない。
次にやること
Claude Opus 5 を 5runs で回し直す(サブスクのレート枠があるので `--only-l7` の分割運用+`certify --merge` で)
codex-sub / grok-sub を同じ16問に投げて、エージェント製品どうしの比較枠を作る
t105 の issue を見直す。テストが要求する不変条件が issue に書かれていないのは、ベンチ側の不備の可能性が高い
gemini-3.1-pro-preview を再計測する。あわせて qwen-coding の `transient_retries` を 0 から上げ、通信断が失点に化けないようにする
今回いちばん収穫だったのは Opus 5 のスコアそのものより、t101 で3実行が同じ落とし穴に、同じ行番号で落ちたことでした。最上位モデルであっても「症状に対する最短の修正」に吸い寄せられる。ここは人間のレビュアーがまだ効く領域だと思います。
検証で生成したコード・テスト結果はアーカイブ済みです。「特定タスクの詳細が見たい」「自分の環境でも試したい」はコメントへどうぞ。
検証情報
ベンチ: 自作 llmbench(SWE-Bench風)/ 台帳 `tasks_l7.jsonl`(L7 v2 grandmaster 16問)
実行モデル(ハーネス記録): `claude-opus-5[1m]` — Claude Code CLI (`claude -p --output-format json`) 経由
比較対象: `glm-4.7`(Z.ai Coding Plan)/ `qwen3.6-flash`(Alibaba token-plan)/ `gemini-3.6-flash` / `gemini-3.5-flash-lite`(Google AI Studio)
計測不成立: `gemini-3.1-pro-preview`(全16問が429クォータ超過)
実行回数: 全モデル 1run / issue言語 en / 判定はタスク付属 pytest の全通過
品質評価: ruff + radon(MI・CC)。LLMレビュー・SonarQube は無効
temperature: API経由は 0.2 固定 / CLI経由は制御不可(既定)
計測対象の注意: `claude-sub` はエージェント製品(CLI+モデル)、他は素のモデル補完
関連記事
L7 v1(40問)時代の検証記事
2026年6月 ローカルLLMベンチまとめ
#ベンチマーク #ClaudeOpus5 #ClaudeCode #LLM #コーディングモデル #SWEBench #GLM #Qwen #Gemini #AI