メインコンテンツへスキップ
見出し画像

【第6回 ローカルLLM】推論エンジンのAPI制御:プロンプトエンジニアリングと生成パラメータ(Temperature / Top-P)の最適化

    こんにちは!株式会社EQUES広報部です🐎
    本連載ではこれまで、ローカルLLMを稼働させるための

    • インフラ要件(第2回)

    • 推論エンジンの構築(第3回)

    • 自社データを統合するRAGアーキテクチャ(第4回)

    • 要件に合致したモデルの選定基準(第5回)

    について解説しました。これにより、ハードウェアからソフトウェアに至るシステム全体の基盤が構築されました。

    しかし、最適なモデルをシステムに組み込んだだけでは、業務要件に適合した出力は得られません。第6回では、推論エンジン(vLLMやOllama)のAPI(窓口)を通じて、モデルの出力をシステム的に制御するための手法について解説します。

    具体的には、プロンプトの構造化と、確率計算を調整する「生成パラメータ(Temperature / Top-P)」の最適化に焦点を当てます。

    (前回までの連載はこちらからご確認ください!)

    1. 構造化データとしてのプロンプトエンジニアリング

    実稼働環境におけるプロンプトエンジニアリングとは、単にテキストを入力することではありません。
    モデルに対してタスクの文脈、指示、制約事項を「構造的なデータ」として定義し、API経由で送信するプロセスを指します。
    推論エンジンのAPI(OpenAI互換APIなど)では、入力データは主に以下の3つの役割(Role)に分割して処理されます。

    • System Prompt (システムプロンプト):モデルの初期状態、役割、および全体的な制約を定義します。RAGシステムにおいては、「あなたは社内規定の検索アシスタントです。提供された参考資料のみに基づいて回答し、情報がない場合は『不明』と出力してください」といった厳格なルールをここに記述します。

    • User Prompt (ユーザープロンプト):ユーザーからの実際の入力(クエリ)や、ベクトルデータベースから検索された参考テキストデータを配置します。

    • Assistant Prompt (アシスタントプロンプト):過去の出力結果を保持し、会話の文脈(コンテキスト)を維持するために使用されます。「AIモデル自身が過去に出力した発言」または「システム側がAIに要求する理想的な回答サンプル」を格納します。

    "messages": [
    {"role": "system", "content": "あなたは専門的なアシスタントです。"}, // ← ここがSystem Prompt
    {"role": "user", "content": "Appleは果物ですか?"},// ← ここがUser Prompt
    {"role": "assistant", "content": "はい、Apple(りんご)は果物の一種です。"}, // ← ここがAssistant Prompt
    {"role": "user", "content": "では、みかんはどうですか?"} // ← モデルはこの履歴全体を読み込んで「みかん」について答える
    ]

    可読性の観点からコメントは太字にしています。

    これらの構造化された入力を正確に定義することで、モデルはタスクの境界を明確に認識します。

    画像

    2. 生成パラメータの構造:出力の確率分布制御

    構造化されたプロンプトを受け取った後、LLMは「次に出現するトークン」の確率分布を計算します。推論エンジンがこの確率分布の中から最終的なトークンを選択する際の基準を決定するのが、「生成パラメータ」です。

    2.1. Temperature(温度パラメータ)

    Temperatureは、モデルが出力した各トークンの確率値(Logits)のばらつきを調整する平滑化パラメータです。

    💡Logitsとは:
    AIは文章を作る際、辞書にある数万個の単語すべてに対して「次に来る単語としてどれくらいふさわしいか」の生のスコア(点数)を計算します。この生のスコアのことを「Logits(z)」と呼びます。
    例えば、「日本の首都は」に続く単語のLogitsは
    「東京」: 10.5
    「京都」: 5.2
    「りんご」: -3.1
    のようなイメージになります(実際の値とは異なります)。
    LogitsをAIが扱いやすくするための数式に含まれるパラメータ(数値)の一つが「Temprature」です。

    ばらつきを決定するための数式の中身を端的に表すと、「Logitsを Temperatureで割り算してから確率に変換する」です。つまり、Temperatureが高ければ高いほどLogitsの差が縮まり(平滑化)、低ければ低いほどLogits同士の差は大きくなります。

    • 高いTemperature(例:1.0〜): 確率分布が平滑化されます。出現確率が低いトークンが選択される余地が広がるため、出力の多様性が増加します。一方で、文脈から逸脱するリスクや、事実に基づかない情報(ハルシネーション)を生成する確率が数学的に高まります。

    • 低いTemperature(例:0.1〜0.5): 確率分布が先鋭化されます。モデルは最も確率の高いトークンを優先的に選択するようになります。出力は決定的かつ論理的になりますが、同一の入力に対して常に同じテキストが生成される傾向が強くなります。

    • Temperature 0 (Greedy Decoding): サンプリングのプロセスをバイパスし、計算された確率分布の中から常に最も確率の高い単一のトークンを選択します(Argmax)。

    つまり、アイデアや文章の多様性を持たせたいときはTempratureを高くし、厳密でより正確な文章を出力させたいときはTempratureを低く設定することが推奨されます。

    画像

    2.2. Top-P(Nucleus Sampling)

    Top-Pは、出力トークンの選択肢を制限するための抽出手法です(詳しくは章末の用語解説を参照)。通常、Temperatureと併用して適用されます。

    システムは、全トークンを、Tempratureによって計算された確率が高い順に並べ、その累積確率が指定された閾値(P)に達するまでの集合(Nucleus)を構築します。そして、集合に含まれない低確率のトークンは、選択肢から完全に除外します。

    • Top-P 0.9 の場合: 累積確率が90%に達するまでの上位トークンのみが次に出現する候補として残ります。これにより、多様性を維持しつつ、文脈的に不適切な(確率の極めて低い)単語が突然出力される事象を防ぎます。

    💡Top-Pとは:
    AIは、次の単語(トークン)を予測する際、辞書内全ての単語に対して出現確率を計算します(先述)。Top-Pは、計算結果の確率を上位から順番に足して、その合計に対して上限(閾値)を設けます。
    例えば、「日本の首都は」に続く単語の確率分布が、
    「東京」: 85%
    「京都」: 5%
    「福岡」:3%
    …
    の場合、 ToP-Pが0.8なら「東京」のみが選ばれ、0.9なら「東京」「京都」が選ばれます。
    Temperatureで出力分布の多様性(ばらつき具合)を決定し、Top-Pで意味不明な単語が選ばれないための強固な数学的境界線を引くのです。

    画像

    3. 推論エンジン(API)への実装とJSON構造

    第3回で構築したvLLMやOllamaに対してリクエストを送信する際、これらのパラメータはJSON形式でAPIエンドポイントに渡されます。

    💡JSON(ジェイソン / JavaScript Object Notation)形式:
    異なるシステム間でデータをやり取りするための、標準的なテキストベースのデータ構造。人間にも機械にも読み取りやすいよう、データが「キー(項目名)」と「値(内容)」のペアで記述されます。APIを通じて推論エンジンにプロンプトや生成パラメータの数値を正確に送信・制御するためのフォーマットとして利用されます。

    {
    "model": "Qwen2.5-32B-Instruct",
    "messages": [
    { "role": "system", "content": "提供されたテキストを正確に要約してください。" },
    { "role": "user", "content": "【参考テキストデータ】..." }
    ],
    "temperature": 0.1,
    "top_p": 0.9,
    "max_tokens": 1024,
    "stream": false
    }

    可読性の観点から重要な項目は太字にしています。

    まとめ:タスクに応じたパラメータの最適化

    ローカルLLMをRAGシステムに組み込む際は、Temperatureを 0.0 または 0.1 などの極めて低い値に設定し、Top-Pを 0.9 程度に固定することが推奨されます。
    エンタープライズ領域の知識検索において求められるのは、表現の多様性や独創性ではなく、入力された社内データに対する「情報の正確な抽出と要約」です。確率的な揺らぎを最小限に抑えるパラメータ設定が、システムの信頼性向上に直結します。

    次回予告

    APIを通じたモデルの制御手法が確立されました。しかし、JSON形式のAPIリクエストを直接操作することは、一般のビジネスユーザーにとって現実的ではありません。

    次回第7回は、「【実践】Web UI(Dify / Text generation webui)による多機能化とエンドユーザー環境の構築」について解説します。構築したAPIサーバーをGUI(グラフィカル・ユーザー・インターフェース)に接続し、実務で利用可能なアプリケーションとして提供する手法を説明します。次回もご期待ください。

    EQUES公式HPはこちらから!

    前回の投稿はこちらから!

     
     
    東大松尾研発のAIスタートアップ、株式会社EQUES(エクエス)です!🚀 最先端のAI技術で社会課題を解決するため、日々奮闘しています。AIに関する解説や開発の裏側、最新ニュースの考察などをカジュアルにお届けします。 ぜひ気軽にコメント・フォローください✨よろしくお願いします!

    あなたへのおすすめ