メインコンテンツへスキップ
見出し画像

特化モデルの「使える」をどう測るか——オラクルの有無で能力を並べ替える swe-bench

    自作のswe-bench風ベンチマークを作成してるがコーディングの点数をはかる前提のため、他のとがったモデルの評価が出来ないためどうするべきか考えた。

    医療特化のローカルモデルに、日本語で薬の名前を答えさせた。返ってきたのは「アドレナリン」。正解だ。なのに自分のベンチは、しれっと「不正解」と出した。

    理由はすぐに分かった。採点用の正解キーに英語の`epinephrine`しか入れていなかったから。モデルは正しく答えているのに、採点器の側が日本語の正答を知らない。バグというより、設計の見落としだった。この一件で、自分がずっと引っかかっていたことの輪郭がやっとはっきりした。「使える」を測るって、思っていたよりずっと採点器側の問題だ。

    コーディングだけが「答え合わせ」できていた

    自分が作っていた llmbench は、もともと SWE-bench 風のコーディング評価だった。バグ入りのコードと issue をモデルに渡し、パッチを当てさせて、隠しておいた pytest が通れば「解決」。実世界の Issue を隠しテストで自動判定する、SWE-bench の系譜だ。その上に pass@k(k回試して1回でも通る確率)や品質採点、実務で任せられるかのライン分けを積んでいた。

    うまく回っていた。ただ、この「使える」はコーディングに限った話でしかない。手元のローカルモデルは、コードだけ書くわけじゃない。要約もするし、ログも読む。最近は医療特化や法務特化みたいな専門モデルも降ってくる。なのに自分が手元で客観的に測れるのは、コード中心だった。

    なぜコードだけがベンチになりやすかったのか。pytest という「正解の自動判定機」があったからだ。他の能力にはそれが無い——と、自分は思い込んでいた。この判定機を、ここではオラクルと呼ぶ。

    オラクルの有無で能力を並べ替える

    能力をジャンル(コード/要約/医療……)で分けて考えているうちは、道が見えなかった。並べ替える軸を変えたら見えた。「どれだけ客観的に検証できるか」、つまりオラクルの有無で並べる。

    検出(セキュリティ)は、正解ラベルを隠し持てば precision/recall/F1 で機械採点できる。pytest と同じ「隠しオラクル」の思想がそのまま移植できた。肝は、脆弱性ゼロの綺麗なコードを「デコイ」としてわざと混ぜること。何にでも「危険だ」と言う過検出モデルは、ここで precision が落ちて馬脚を現す。CWE-89(SQLインジェクション)だけ拾えても、綺麗なコードに誤検出したら失格。

    指示追従は、文字数・JSON妥当性・正規表現みたいにプログラムで検証できる制約なら、judge なしで完全に客観判定できる。IFEval が示した発想だ。ここでは、コード特化モデルが一般的な指示に対して見せる退化があぶり出せる。

    医療QAはアンサーキー照合。選択肢や許容キーワードと突き合わせる。「合っているか分からない」専門領域こそ、gold キーの客観スコアが効く——はずだった。冒頭のアドレナリンは、まさにここで転んだ。

    そして創作。これだけはオラクルが無い。rubric とジャッジモデルに頼るしかない。しかもジャッジを候補モデル自身にすると、自分の出力を高く付ける self-enhancement bias(MT-Bench で報告された傾向)が入る。だからジャッジは候補と分け、なお実験的・未較正な軸として小さく置いた。

    実装の芯はひとつ。どの採点器も最後は「成功か失敗か、品質0〜100」という同じ形に正規化して返す。だから pass@k もスコアも認証の仕組みも一切書き換えず、コード以外へ横に広げられた。パイプラインの作り直しじゃない。オラクルの差し替えだ。

    特化モデルは、専用のオラクルが無ければ存在しないのと同じ

    ここが今回いちばん考えたところ。コーディングベンチに医療特化モデルを掛けても、スコアは出ない。測る土俵が無いからだ。特化モデルは、その専門のオラクルを用意しない限り、ベンチの上では存在しないのと同じになる。医療特化を測りたいなら医療の答えキーが要るし、セキュリティ特化を測りたいなら脆弱性ラベルが要る。当たり前のことなのに、コーディングの土俵の上で全部を語ろうとすると見えなくなる。

    多分野を横断するベンチ自体は、別に新しくない。MMLU も HELM もあるし、日本語の医療ベンチも IgakuQA や JMedBench がすでにある。自分がやったのは新種の発明じゃなくて、手元のローカルモデルを「実務で任せられるか」の一点で測る道具を、コーディングの外へ広げたことだけだ。HELM が「単一スコアではなく多指標で見る」と言っているのと、方向は同じ。

    総合1点は、平気で嘘をつく

    複数ドメインの総合力を一つの数字にしたくて、バランス指数を入れた。各ドメインのスコアを調和平均で合成する。一芸だけ突出して他が低いモデルは、大きく減点される。ジェネラリストを褒め、特化を罰する指標だ。

    ここに設計上の緊張がある。この指数で医療特化モデルを語ると、コードや創作の低さに引きずられて不当に低く出る。特化が汎用性を犠牲にするのは catastrophic forgetting や alignment tax として知られた現象で、それ自体は珍しくない。だから特化モデルはバランス指数で読んではいけない。ドメイン単体のスコアで読む。逆に「何でも屋」を狙うなら、一芸だけ高いのをこの指数が容赦なく炙り出してくれる。

    つまり「何を良しとするか」を先に決めないと、単一の総合点は嘘をつく。コード満点が創作の低さを覆い隠す、みたいなことが起きる。だからドメインは混ぜない。分けて出す。総合点は、それを承知の上で読むための一つの補助線でしかない。

    それでも「答えが合っているか分からない」

    医療で本当に怖いのは、採点する自分が答えの正しさを判定しきれないことだ。だから医療QAの gold は、別のモデルに全問を独立ファクトチェックさせた。24問すべて、事実として正しいと確認。冒頭の「日本語トークンが欠けていた」設計ミスも、この工程で見つかった。gold には最終的に epinephrine とアドレナリン、ボスミンを両方入れた。特化モデルや多言語モデルの評価は、正答の許容範囲を言語ごと設計しないと機械採点が破綻する。

    24問は薬理・循環器・救急・内分泌・感染症・神経・小児・産婦人科と分野を散らし、難易度も basic を7問、標準を11問、hard を6問と分けてある。総合正答率だけ見ても「どの難度で崩れたか」が消えるからだ。特化モデルほど、易しい問いは満点でも hard で急に落ちる、みたいな崩れ方をする。そこを一つの平均に溶かしたくなかった。

    採点器そのものも疑ってかかった。「本当に測れているか」を判別するテストを各ドメインで回している。正答は高スコア、曖昧な指摘は0点、綺麗なコードへの過検出は precision ゼロで失格、5個必要な箇条書きが4個なら減点。正しい gold は通り、壊した gold は落ちる。採点器が期待通りに間違えるところまで確かめて、ようやく数字を信じる気になった。

    念のため釘を刺しておく。医療スコアは臨床的な妥当性の保証ではない。あくまでモデルの知識を測る参考値だ。5択なら当てずっぽうでも2割は当たる。創作と医療のゲート閾値も、まだ暫定で未較正。ここを確定値のように読まれると困る。

    何を「使える」と呼ぶのか

    特化モデルが増えるほど、「このモデルは使えるか」という問いは、総合点1つでは答えられなくなっていく。測れているのはオラクルを用意した範囲だけ。用意していない能力は、ゼロではなく「未測定」だ。そこを混同すると、評価は静かに嘘をつく。

    あなたが手元で回しているモデルは、何が得意ということになっている? そしてその「得意」は、誰がどんなオラクルで確かめた数字だろうか。自分は最近、モデルのスコアより先に「その点数は何で答え合わせしたのか」を見るようになった。同じように測り方で引っかかった経験があれば、コメントで聞かせてほしい。

    GitHub: https://github.com/zephel01/swe-bench 

    #ローカルLLM #ベンチマーク #LLM評価 #LLM #医療AI #セキュリティ #生成AI #機械学習 #個人開発 #SWEbench

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ