
LLMアプリケーションの評価・回帰テスト実践設計
「プロンプトを1行変えたら、別の箇所の出力が壊れた」——LLMを組み込んだプロダクトを運用しているエンジニアなら、一度は経験がある話ではないでしょうか。
通常のソフトウェア開発であれば、コードを変更したらテストスイートを回し、CIが落ちれば気づける仕組みが当たり前にあります。ところがプロンプトやRAGの検索ロジック、あるいはモデルのバージョンアップに対しては、「なんとなく試して、なんとなく良さそうだからリリースする」という運用になっているチームが今でも少なくありません。
これは単なる開発プロセスの問題ではなく、LLMという出力が非決定的なコンポーネントを、決定的なソフトウェアと同じ感覚で扱ってしまっていることに起因します。本記事では、LLMアプリケーションの品質を継続的に担保するための「Evals(評価)設計」について、LLM-as-Judgeの正しい使い方から、プロンプト変更時の回帰防止をCI/CDに組み込む実装パターンまで、実務で使える粒度で解説します。
対象読者は、すでに何らかの形でLLMをプロダクトに組み込んでおり、「テストがない」「レビューが属人化している」といった課題感を持っているエンジニアです。RAGやプロンプトエンジニアリングの基礎用語は既知の前提で進めます。
この記事で扱う範囲
なぜBLEU/ROUGEのような伝統的な指標がLLMアプリケーションの評価に向かないのか
LLM-as-Judgeの3つの評価方式(Direct Scoring / Pairwise / G-Eval)と、それぞれの適用場面
LLM-as-Judgeを「信用できる評価者」にするためのキャリブレーション手法(Cohen's Kappa、バイアス対策)
ゴールデンデータセットの作り方と育て方
promptfoo・DeepEval・Braintrustなど主要ツールの使い分け
プロンプト変更をCI/CDのゲートに組み込む具体的な実装
陥りがちな失敗パターンとその回避策
1. なぜ「なんとなく良さそう」では危険なのか
LLMアプリケーションの品質劣化は、多くの場合、次のようなタイミングで静かに発生します。
システムプロンプトに1文追加した(意図しない副作用で、他の指示への追従度が下がる)
RAGのチャンクサイズやトップK件数を変更した(関連性は上がったが、コンテキスト長超過で末尾の指示が無視されるようになった)
モデルプロバイダがマイナーアップデートを行った(GPTやClaudeのモデルは同じバージョン名でも内部的に更新されることがあり、出力傾向が変わることがあります)
Few-shotの例を1つ差し替えた(フォーマット遵守率は上がったが、創造性が落ちた)
これらはすべて「動いているように見えるが、実は劣化している」パターンです。人間のレビューだけに頼っていると、レビュー担当者がたまたま見たケースでは問題が出ず、本番の裾野(エッジケース)で初めて顕在化します。
ここで重要なのは、LLMアプリケーションのテストを「単体テスト」「回帰テスト」という古典的な枠組みに当てはめて考えることです。プロンプト・モデル・RAG構成は、すべて「コード」として扱い、変更のたびに固定されたテストセット(ゴールデンデータセット)に対してスコアを取り、閾値を下回ったら機械的にブロックする——この発想の転換が出発点になります。
2. なぜBLEU/ROUGEでは不十分なのか
機械翻訳や要約タスクの評価には伝統的にBLEUやROUGEといった、正解文字列との表層的な一致度を測る指標が使われてきました。しかしLLMアプリケーションの多くは「正解が1つに定まらない」タスクです。同じ意味を異なる表現で答えても正解ですし、チャットボットの応答などはそもそも「唯一の正解」という概念自体が存在しません。
そのため、実務では評価を3つのレイヤーに分けて設計するのが定石です。
決定的チェック(Deterministic Checks): JSON形式で出力されているか、必須フィールドが存在するか、禁止ワードが含まれていないか、文字数制限を守っているか——コードで機械的に検証できるもの
意味的スコアリング(Semantic Scoring): 埋め込みベクトルによる類似度、RAGであれば検索結果の関連性(Context Precision/Recall)など、統計的に計算できるもの
LLM-as-Judge: 「指示への忠実さ」「トーンの適切さ」「事実整合性」など、人間の主観的判断に近い評価が必要なもの
このうち、実務で最も設計が難しく、かつ最も価値が高いのが3番目のLLM-as-Judgeです。次章で詳しく見ていきます。