
LLMの性能を向上させるプロンプト繰り返し技術に関する調査報告
1. 序論:プロンプトの順序がもたらす課題と新たな解決策
大規模言語モデル(LLM)は、過去のトークンに基づいて次のトークンを予測する「因果的言語モデル」として訓練されている。このアーキテクチャの特性上、プロンプト内の情報の順序がモデルの性能に直接影響を与えうるという課題が存在する。この技術的背景の理解は、本報告書で提案される手法の重要性を把握する上で不可欠である。
この課題に対するシンプルかつ効果的な解決策として、本研究では「プロンプト繰り返し」という手法を提案する。これは入力クエリを<クエリ><クエリ>のように単純に繰り返すものである。因果的言語モデルでは、後続のトークンは先行するトークンにしか注意(attend)を向けられない。しかし、プロンプトを繰り返すことで、2回目の<クエリ>のトークンは、1回目の<クエリ>の全トークンを「過去の」コンテキストとして参照できるようになる。これにより、実質的に全トークン間の双方向の注意が可能となり、順序依存性の制約が克服されるのである。
この手法の核となる利点は、特に推論(reasoning)を伴わないタスクにおいて、生成トークン数や遅延(レイテンシー)を増加させることなく、主要なLLMの精度を一貫して向上させる点にある。本報告書では、この手法の有効性を検証するために設計された実験、そこから得られた主要な結果、そして将来的な研究の展望について詳述する。
2. 実験設計:有効性の厳密な検証
提案されたプロンプト繰り返し技術の有効性を評価するため、研究者は厳密な実験的アプローチを採用した。多様なモデルとベンチマークを用いた広範なテストは、得られた結果が特定の条件下に限定されず、一般化可能であることを担保するために不可欠である。
対象モデルとベンチマーク: 本実験では、7つの主要な大規模言語モデルを評価対象とした。
Gemini 2.0 Flash
Gemini 2.0 Flash Lite
GPT-4o-mini
GPT-4o
Claude 3 Haiku
Claude 3.7 Sonnet
Deepseek V3
評価には、標準的な学術ベンチマークとカスタムタスクを組み合わせた計7つのデータセットが使用された。
ARC
OpenBookQA
GSM8K
MMLU-Pro
MATH
NameIndex
MiddleMatch
評価方法: 性能評価は、単純な応答を求める場合(推論なし)と、「ステップバイステップで考える」よう指示する推論を伴う場合の両方で実施された。特に、多肢選択式のベンチマーク(ARC, OpenBookQA, MMLU-Pro)では、プロンプトの順序に対する手法の堅牢性を示すために、「質問が先(question-first)」と「選択肢が先(options-first)」の両方の形式でテストが行われた。
統計的な有意性を判断する基準としてはマクネマー検定が用いられ、p値が0.1未満の場合に有意な差があると結論付けられた。
3. 主要な実験結果と分析
実験から得られた結果は、プロンプト繰り返し技術が精度向上と効率性の両面で有効であることを明確に証明している。本セクションでは、精度、効率、そして異なる条件下での挙動という側面から、実験結果を詳細に分析する。
3.1. 推論を伴わないタスクにおける精度向上
Figure 1に示される通り、プロンプト繰り返しは、ベースライン(繰り返しなし)と比較して圧倒的な優位性を示した。推論を伴わない70のテスト組み合わせのうち、47のケースで統計的に有意な勝利を収め、敗北は一度もなかった。
特に、カスタムタスクであるNameIndex(リストから特定の位置の名前を抽出する)とMiddleMatch(2つの要素の中間に位置する要素を見つける)において、全てのモデルで顕著な性能向上が確認された。一例として、Gemini 2.0 Flash-Liteの精度は、NameIndexタスクにおいて21.33%から97.33%へと大幅に向上した。
また、多肢選択式ベンチマークにおいては、「選択肢が先(options-first)」の形式で、より大きな改善が見られた。通常、「選択肢が先」の形式では、モデルは質問の内容を知らないまま選択肢を処理し始めるため、著しく不利な状況に置かれる。プロンプト繰り返しは、この根本的な情報不足を解消し、選択肢と質問を同時に考慮する能力をモデルに与えるため、特に劇的な性能向上に繋がったと考えられる。
3.2. 効率性の評価:遅延と生成コスト
Figures 2と3が示すように、プロンプト繰り返し技術のもう一つの重要な利点は、生成される出力の長さや測定された遅延を増加させない点である。この高い効率性は、本手法が入力処理の初期段階であり、並列処理が可能な「プレフィル(pre-fill)」ステージにのみ影響を与えるためである。したがって、他のプロンプト技術のように、出力が長くなることによる遅延増加やコスト増大の懸念がない。
ただし、Anthropic社のモデル(Claude Haiku, Sonnet)において、非常に長いリクエスト(NameIndexやMiddleMatchタスク、または×3の繰り返しバリエーション)の場合に限り、遅延が増加するという例外が観測された。
3.3. 推論を伴うタスクへの影響
モデルに「ステップバイステップで考える」よう指示し、推論プロセスを伴うタスクにおいては、プロンプト繰り返しの効果は「中立からわずかに肯定的」であった。Figure 4によると、28のテスト組み合わせにおいて5勝1敗22引き分けという結果になっている。この結果は、推論プロセス自体がプロンプトの一部を内的に繰り返しながら思考を進めることが多いため、予想通りであったと分析できる。
3.4. バリエーションと対照実験の分析
標準的なプロンプト繰り返し(2回)に加え、Prompt Repetition ×3(3回繰り返し)やPrompt Repetition (Verbose)(「繰り返します」という文言を追加)といったバリエーションもテストされた。その結果、特にPrompt Repetition ×3は、カスタムタスクにおいて標準的な2回繰り返しを上回る性能を示すことがあった。
さらに、性能向上が単なる入力長の増加によるものではないことを証明するため、「パディング(Padding)」という対照実験が行われた。これは、プロンプトを繰り返す代わりに、無関係なピリオド(.)で入力を埋めるものである。この実験では性能向上が見られなかった。この結果は、観測された性能向上が、単なる入力長の増加といった表面的な要因によるものではなく、プロンプト内容の意味的な繰り返しに起因することを示唆している。
4. 結論と将来の展望
本研究は、プロンプトを単純に繰り返すという手法が、特に推論を使用しない多くのタスクにおいて、追加の計算コストを伴うことなくLLMの性能を向上させる、シンプルで実用的なデフォルト手法となりうることを示した。
結論の要約 この手法が持つ主な利点は以下の通りである。
導入の容易さ: 既存のプロンプトをコピー&ペーストするだけで実装可能である。
出力形式の不変性: 生成される出力の長さや形式が変わらないため、既存のシステムとの互換性が保たれる。
即時展開の可能性: 上記の利点から、既存のアプリケーションやワークフローに「ドロップイン」で容易に展開できる。
将来の展望 本研究は、さらなる探求の可能性を秘めた複数の方向性も示唆している。今後重要となる研究テーマとして、以下の点が挙げられる。
繰り返しプロンプトを用いたファインチューニング: モデルの訓練段階から繰り返しプロンプトを使用することで、性能をさらに最適化する研究。
テキスト以外のモダリティへの応用: 画像など、テキスト以外のデータ形式に対しても同様の手法が有効であるかの検証。
生成中の動的な繰り返し: 生成プロセス中に関連トークンを周期的に繰り返す手法の探求。
注意パターンの詳細な分析: プロンプト繰り返しがモデル内部の注意(attention)メカニズムにどのように作用しているかを詳細に解明する研究。
結論として、プロンプト繰り返し技術は、LLMの応用において即時的な価値を提供するだけでなく、モデルの能力を最大限に引き出すための新たな研究領域を切り拓く可能性を秘めている。