
生成AIの性能を引き出すのは「質問力」ではなく「設計力」である
生成AIを使っていると、同じような質問をしたはずなのに、回答の形式や詳しさが毎回変わることがある。
昨日は簡潔に答えてくれたのに、今日は必要以上に長い。JSON形式で依頼したのに、説明文が混ざってしまう。計算の途中で前提を取り違える。業務で生成AIを使おうとすると、このような「出力の揺れ」が大きな問題になる。
高橋あおい、近藤健司、南風原香奈による『エンジニアのための生成AI入門』第2章「プロンプトエンジニアリングに入門してみよう」は、こうした不安定さに対処するための基礎技術を扱っている。
本章で紹介されるのは、Few-Shot、Chain-of-Thought、Self-Consistency、Least-to-Mostという4つの代表的な手法である。しかし、この章の本質は個々のテクニックを覚えることではない。
重要なのは、生成AIへの指示を「思いつきで書く文章」から「検証可能な設計」に変えることである。
プロンプトエンジニアリングは「質問力」ではない
プロンプトとは、生成AIに与える質問や指示のことである。
「今日の天気は?」も、「Pythonでコードを書いてほしい」もプロンプトに該当する。そのため、プロンプトエンジニアリングという言葉から、生成AIに対する上手な質問の仕方を想像する人は多いだろう。
しかし本章では、プロンプトエンジニアリングを、AIから望む回答を得るために指示を体系的に設計し、改善する技術として捉えている。
たとえば「レポートを要約して」という指示だけでは、文章形式になるのか、箇条書きになるのか、どの程度の長さになるのかが決まっていない。AIはその不足部分を自ら補うため、実行するたびに異なる形式の回答を返す可能性がある。
一方、次のように条件を指定すれば、出力は安定しやすくなる。
要点を3つに絞る
箇条書きで出力する
各項目を50文字以内にする
専門用語には短い補足を付ける
ここで行っているのは、質問の言い回しを工夫することではない。入力条件、処理内容、出力仕様を定義することである。
これはソフトウェア開発におけるインターフェース設計に近い。生成AIを業務で利用するなら、プロンプトは会話文であると同時に、一種の仕様書として考える必要がある。
LLMを制御する前に知っておきたい3つの基本概念
本章は、具体的なテクニックに入る前に、トークン、temperature、ロールという3つの基本概念を説明している。
この構成は非常に重要である。生成AIの動作を理解しないままプロンプトの書き方だけを覚えても、なぜ結果が変わったのかを説明できないからだ。
トークンは処理量とコストの単位である
LLMは文章をそのまま文字単位で処理しているわけではない。文章をトークンと呼ばれる単位に分割して処理している。
APIの利用料金や一度に処理できる文章量も、基本的にはトークン数によって決まる。そのため、トークンは単なる内部用語ではなく、システム設計や予算管理に直結する概念である。
特に注意すべきなのは、日本語の1文字が必ず1トークンになるわけではない点だ。同じ意味の文章でも、日本語と英語ではトークン数が異なることがある。日本語は英語よりも多くのトークンに分割される場合があり、その分だけ処理量や料金が増える可能性がある。
業務システムでLLM APIを利用する場合は、次のような見積もりが必要になる。
1回の処理で入力するトークン数
AIが出力するトークン数
1日あたりの実行回数
月間の想定利用量
利用モデルごとの単価
「月額でいくらかかるのか」という質問に答えるためには、プロンプトの内容だけでなく、利用頻度とトークン数を把握しなければならない。
temperatureは正確さの設定ではない
temperatureは、出力候補の選ばれ方に影響するパラメータである。低く設定すると出力が安定しやすくなり、高く設定すると表現の多様性が生まれやすい。
ただし、「低ければ正確で、高ければ不正確」と単純に理解するべきではない。temperatureが調整するのは、基本的には出力のランダム性である。
コード生成、データ分類、定型文作成では、低めの設定が向いている。毎回ほぼ同じ形式で返してほしいからだ。一方、アイデア出し、コピー作成、物語の生成では、高めの設定が役立つ場合がある。
重要なのは、タスクの目的に応じて設定を変えることである。
すべての処理に同じtemperatureを使用するのは、データベース検索と広告コピー作成に同じ評価基準を適用するようなものだ。安定性を重視するのか、多様性を重視するのかを先に決める必要がある。
System、User、Assistantを分離する
LLMとの対話には、System、User、Assistantという役割がある。
Systemには会話全体に適用する役割、制約、優先事項、出力形式などを書く。Userには、その時点で処理してほしい具体的な依頼や入力データを書く。AssistantはLLMの応答を表す。
たとえば、技術文書をレビューするAIを作るなら、Systemには次のような内容を定義する。
シニアテクニカルライターとして振る舞う
正確性、完全性、明確性、実用性、セキュリティの観点で評価する
良い点と改善点を分ける
改善点には優先度を付ける
具体的な修正案を提示する
Userには、レビュー対象となる技術文書を渡す。
この分離により、毎回同じ評価軸で文書を確認できる。Systemプロンプトは、AIの人格設定というより、システム全体の共通仕様と考えた方がよい。
良いSystemプロンプトは「役割・制約・出力形式」で作る
本章が示すSystemプロンプトの基本は明快である。
役割で方向性を定める
制約で守るべき条件を設定する
出力形式で結果の構造を固定する
「技術文書をレビューしてください」という指示だけでも、生成AIは何らかの回答を返す。しかし、何を重視するかが定義されていないため、一般的で表面的なレビューになりやすい。
これに対して、役割、評価観点、出力形式を明示すれば、回答は業務で利用しやすい形になる。
ここで注目したいのは、出力の品質を上げるだけでなく、評価の再現性も高めている点である。
生成AIの回答が一度だけ良くても、システムとしては不十分だ。別の文書を入力したときにも同じ観点で確認でき、異なる利用者が使っても一定の形式で結果が得られる必要がある。
プロンプトエンジニアリングとは、良い回答を偶然引き当てることではない。回答品質が安定する条件を設計することなのである。
否定形ではなく肯定形で指示する
本章では、否定形の指示を避け、肯定形で書くことも推奨している。
たとえば、次のような指示である。
専門用語を使わない
長い説明をしない
技術的な詳細を書かない
これらは一見すると明確だが、AIに「何をすればよいか」を十分に伝えていない。
次のように肯定形へ置き換える方が、期待する行動を具体化できる。
初心者にも分かる言葉を使う
3つの要点に絞る
具体的な解決手順を番号付きで示す
親切で丁寧な文体にする
「してはいけないこと」の一覧より、「実行してほしい行動」を定義する方が制御しやすい。この考え方は生成AIに限らず、業務手順書やチェックリストの設計にも通じる。
Few-Shotは説明ではなく「完成例」で型を教える
Few-Shotは、AIに少数の入出力例を見せて、期待するパターンを認識させる手法である。
たとえば製品レビューを「ポジティブ」「ニュートラル」「ネガティブ」に分類したい場合、指示だけでは、AIが分類理由や感情スコアまで追加してしまうことがある。
そこで、あらかじめ次のような例を示す。
良いレビュー → ポジティブ
悪いレビュー → ネガティブ
評価が中間的なレビュー → ニュートラル
AIは例から出力形式を学び、対象となるレビューに対しても「ネガティブ」のように分類結果だけを返しやすくなる。
Few-Shotが特に有効なのは、次のような形式重視のタスクである。
JSONやCSVへの変換
テキストの分類
項目の抽出
製品名や変数名の命名
定型文の生成
社内フォーマットへの整形
プロンプトで長く説明するより、完成例を一つ見せた方が意図を正確に伝えられることは多い。
エッジケースを含めることが重要である
Few-Shotで重要なのは、例の数ではなく例の質である。
通常ケースだけを提示しても、想定外の入力には対応できない。価格抽出であれば、通常価格や割引価格だけでなく、「無料」「価格未定」「要問い合わせ」といった境界条件も例示する必要がある。
これは自動テストの考え方と同じである。
正常系のテストだけではシステムの堅牢性を確認できない。例外、空欄、範囲値、不正な入力、複数の解釈が可能な表現を含めて初めて、実運用に耐えられる。
似た例を10個並べるより、通常例を2個、エッジケースを1個示す方が効果的な場合もある。例を増やすほどトークン数も増えるため、Few-Shotにはコストとのバランスも必要である。
Chain-of-Thoughtは答えを「検証可能」にする
Chain-of-Thoughtは、最終回答だけでなく、問題を解く手順を段階的に出力させる考え方である。
複数の商品に異なる割引率が設定されている計算では、いきなり合計金額だけを答えさせるより、次のように分解させた方が確認しやすい。
商品Aの割引額を計算する
商品Aの販売価格を計算する
商品Bの割引額を計算する
商品Bの販売価格を計算する
両商品の販売価格を合計する
総割引額を計算する
この手法の価値は、正答率の向上だけではない。どの段階で間違えたのかを人間が追跡できる点にある。
ただし、本章は重要な注意も示している。
LLMは言語モデルであり、計算機ではない。手順を説明させたとしても、計算そのものを間違える可能性がある。複雑な財務計算や大量データの集計では、「計算してください」と頼むより、「計算するPythonコードを作成してください」と依頼し、実際の計算をプログラムに実行させる方が確実である。
つまり、生成AIには手順やコードを作らせ、厳密な数値処理は計算機に任せるべきである。これは生成AIを過信せず、適材適所で使うための重要な原則だ。
Self-Consistencyは複数回答の多数決で判断を安定させる
Self-Consistencyは、同じ問題を複数回解かせ、最も多く得られた答えを採用する手法である。
ひとつの推論だけに依存せず、複数の経路から同じ結論に到達するかを確認する。特に、答えが一つに定まる数学問題、論理問題、YesかNoかの判定などで効果が期待できる。
一方で、実行回数を増やせば、その分だけAPI料金と処理時間も増える。5回実行すれば、単純には1回実行する場合の約5倍のコストがかかる。
また、多数決だから正しいとは限らない。5回のうち3回が同じ誤答になる可能性もある。曖昧な前提を含む問題では、同じ誤解に基づく回答が多数派になることもある。
そのため、Self-Consistencyは正しさを保証する仕組みではなく、回答の揺れを観測し、単一回答への依存を減らす仕組みとして理解すべきである。
契約金額や重要な判定など、誤りの影響が大きい処理では、Self-Consistencyだけに頼るのではなく、ルールベースの検証、人間による確認、外部プログラムでの再計算を組み合わせる必要がある。
Least-to-Mostは複雑な問題を小さな処理へ分解する
Least-to-Mostは、複雑な問題を小さなサブプロブレムに分解し、簡単なものから順番に解く手法である。
Chain-of-Thoughtが一つの回答の中で手順を展開するのに対し、Least-to-Mostは問題そのものを分割し、前段階の結果を次の段階へ明示的に渡す。
たとえば図形問題であれば、次のように分解する。
座標系を設定する
各点の座標を求める
底辺の長さを求める
高さを求める
面積を計算する
単位と結果を検証する
この構造は、複雑な業務処理にも応用できる。
たとえば障害調査なら、「ログを読んで原因を教えて」と一度に依頼するのではなく、次のように分けられる。
エラーメッセージを抽出する
発生時刻と対象コンポーネントを特定する
正常時との差分を整理する
原因の候補を列挙する
候補ごとの確認コマンドを提示する
確認結果から原因を絞り込む
複雑な処理ほど、この段階分解が有効になる。
ただし、Least-to-Mostにはエラー伝播という弱点がある。最初の段階で誤った値を出すと、その値を使う後続処理もすべて間違える可能性がある。
対策として、各段階に検証を追加する必要がある。
入力値の範囲は妥当か
必須項目が欠けていないか
単位は一致しているか
前段階の結果を正しく参照しているか
最終結果に論理的な矛盾はないか
これはプロンプト設計であると同時に、処理フローの設計でもある。
4つの手法は競合するものではない
Few-Shot、Chain-of-Thought、Self-Consistency、Least-to-Mostは、どれか一つを選べばよいものではない。それぞれ解決する課題が異なる。
Few-Shot
出力の型を揃えたいときに使う。分類、抽出、JSON化、命名規則の統一などに向いている。
Chain-of-Thought
計算や論理的判断の過程を確認したいときに使う。回答を検証可能にしたい場合に有効である。
Self-Consistency
同じ問題でも回答が揺れるときに使う。明確な正解があるタスクで、複数回の結果を比較する。
Least-to-Most
一度に処理すると複雑すぎる問題に使う。問題を小さく分解し、前段階の結果を次に渡す。
実務では、これらを組み合わせることになる。
たとえば、問い合わせ内容から障害の種類を判定するシステムでは、Few-Shotで分類形式を固定し、Least-to-Mostで原因調査を段階化する。重要な判定だけSelf-Consistencyで複数回実行し、最後にルールベースの検証を行う。
優れたプロンプトとは、長く複雑なプロンプトではない。タスクの性質に応じて、必要な技術だけを組み合わせたプロンプトである。
最新モデルの時代にもプロンプト設計が必要な理由
LLMの性能向上により、日常的な質問であれば、細かなプロンプトテクニックを意識しなくても十分な回答が得られるようになっている。
その意味では、「誰よりも巧妙な言葉でAIを操ること」に価値を置くプロンプトエンジニアリングは、将来的に重要性を失っていく可能性がある。
しかし、業務システムでは話が異なる。
必要なのは、たまたま良い回答が得られることではない。次の条件を満たす出力である。
形式が一定である
入力の違いに適切に対応できる
エラー時の挙動が決まっている
コストを予測できる
処理過程を検証できる
必要に応じて人間が介入できる
モデルが高性能になっても、業務要件を自動的に理解してくれるわけではない。何を正解とし、どの形式で返し、どの条件でエラーと判断するかは、利用者側が設計しなければならない。
したがって、将来的に残るのは「魔法の言い回しを考える技術」ではなく、「生成AIを含む処理全体を設計する技術」である。
まとめ
本章を通じて得られる最大の示唆は、生成AIの出力を直接信用するのではなく、設計、観測、検証の対象として扱うべきだということである。
プロンプトを変更したら、複数の入力で結果を確認する。通常ケースだけでなく、エッジケースも試す。出力形式が変わっていないか確認する。トークン数、処理時間、APIコストも測定する。
そして、生成AIに任せる部分と、プログラムで処理する部分を分ける。
文章の分類、要約、候補生成はLLMが得意である。一方、厳密な計算、完全一致の比較、データベース更新、権限確認などは、従来のプログラムによる処理が適している。
生成AIを導入するとは、既存のシステムをすべてAIに置き換えることではない。曖昧さを扱うLLMと、決められた処理を正確に実行するプログラムを組み合わせることである。
Few-Shot、Chain-of-Thought、Self-Consistency、Least-to-Mostは、その境界を設計するための基礎的な道具だ。
プロンプトエンジニアリングは、生成AIとの会話を上達させるためだけの技術ではない。生成AIを、再現性、検証可能性、コストを備えた実用的なシステムへ変える第一歩なのである。