メインコンテンツへスキップ
見出し画像

同じ指示なのに答えが違う?生成AIの「ゆらぎ」を知ろう

    業務でAIに文章を作らせている方なら、覚えのある場面かもしれません。
    同じ商品説明を頼んだだけなのに、今度は違う書き出し。
    さっきの文章がよかったのに、もう一度頼むと戻ってこない。

    そんな場面で、すぐに指示文を直したくなるかもしれません。
    でも、文章が変わったからといって、それがそのまま「指示の失敗」を意味するわけではありません。
    AIが次の言葉を選ぶ仕組みそのものに理由があることも多いのです。

    大切なのは、1回の出来で決めず、条件をそろえて比べること。
    そして、表現の変化と情報の誤りを分けることです。

    画像
    本記事の要約

    AIは、続きの「小さな単位」を選んでいる

    まず、文章を扱う小さな単位が「トークン」です。
    単語そのものの場合も、単語の一部や記号の場合もあり、必ず1文字・1単語というわけではありません。
    Hugging Faceの用語解説

    ここで見るのは、それまでの文脈から次のトークンを選び、続きを伸ばす方式です。
    入力と書きかけの文章をもとに候補の確率を計算し、一つ選んで加える。
    この繰り返しなので、途中の選択が変われば、その先の文脈も変わります。
    生成の仕組み

    完成した答えを丸ごとくじ引きしている、と考えると少しズレてしまいます。
    また、この「次に来やすさ」と、書かれた内容が事実として正しいかどうかは、別のものです。

    「一番の候補を選ぶ」と「確率に沿って選ぶ」の違い

    最も確率が高い候補を選ぶ「greedy」

    各段階で最上位の候補を選ぶのが、greedy(グリーディ)です。
    同じ候補の確率と選び方のルールなら、選択は決まります。
    ランダムに引く方式ではありません。

    なお、greedyや温度0の設定でも、GPU上の並列計算に伴うごくわずかな計算誤差で、まれに結果が変わることがあります。
    これも「指示の失敗」ではなく計算環境側の要因です。

    確率に沿って候補を選ぶ「サンプリング」

    一方、候補の確率に沿って選ぶのがサンプリング。
    確率に応じて重みをつけたくじ引きに近く、最上位以外を選ぶこともあります。
    同じ文脈から別の続きへ進めますが、毎回必ず違うとは限りません。
    Hugging Faceの生成方式の解説

    これは候補を選ぶ方式の対比で、AIの処理全体がくじ引きだけ、という話ではありません。
    出力が違ったというだけで、使ったサービスの内部方式まではわかりません。

    設定は「完全一致のスイッチ」ではない

    候補の選ばれやすさの偏りを調整する値が、temperature(温度)です。
    サンプリングでは、ほかの条件が同じなら、下げるほど高確率の候補に寄りやすくなります。
    逆に上げるほど確率の低い候補も選ばれやすくなり、表現の幅が広がります。
    ただし、正しさを保証するつまみではありません。
    Hugging Faceの解説

    また、コンピューターが計算で作る乱数(擬似乱数)の出発点が、seed(シード)です。
    同じ乱数列を再現するために使えます。
    ただし、計算用ソフトのPyTorchは、ソフトの版や計算環境が違えば、同じseedでも完全再現を保証しないと説明しています。
    PyTorchの再現性の説明

    これらを操作できるかはサービスやモデルによるので、公式仕様を確認しましょう。
    設定欄がなくても、比較はできます。

    比べるなら、条件と見るポイントをそろえよう

    まず、同じ条件で数回並べてみる

    最初に「仕様を守る」「必要事項が入る」「短く読みやすい」など、合格の条件を決めます。
    そのうえで、次をそろえましょう。

    • 指示文と渡す資料

    • 会話の開始状態

    • 選べるモデルと生成設定

    会話を続けながら頼み直すと履歴が増えます。
    各回は同じ状態から始め、日時・見える設定・出力を保存します。
    ただし、外部からは見えない内部的な条件まで完全に同一とは限らない点には留意しましょう。

    まずは3回ほど並べるのが、変化に気づく入口になります。
    統計的な証明ではないので、うまくいった1件だけを残さず、結果全体を見ましょう。

    seedを扱えるなら、同じ値は再現確認、複数の値はばらつき確認に使い分けます。
    指示文AとBの比較は、変更点を一つにして、回数と評価基準をそろえます。seedも指定するなら、両方で同じ値の組を使いましょう。

    言い換えと、変えてはいけない情報を分ける

    以下は説明用の架空例で、特定モデルの実測結果ではありません。

    ボトルの仕様は「容量500mL、青色、持ち手付き」とします。

    • 説明A:「持ち手の付いた、青い500mLボトルです。」

    • 説明B:「容量500mLの青いボトル。持ち手が付いています。」

    • 不適切な説明:「持ち手と温度表示機能を備えた、青い500mLボトルです。」

    AとBは語順が違っても、仕様を保っています。
    一方、最後の説明は、与えた仕様にない機能を足しています。
    これは言い回しの好みではなく、根拠のない情報追加です。

    表現は意味や必要情報が保たれているかを見て選び、数字や機能は元の仕様・一次資料と照合する。
    同じ機能が何度出ても、それだけで本当にはなりません。
    事実誤認を「ゆらぎだから」で済ませないことが大切です。

    ✅ 試した回数
    ✅ 条件を満たした回数
    ✅ 気になった箇所

    これらをメモしておけば、次に直す点を考える手がかりになります。

    画像

    一発の出来より、何が変わるかを見よう

    違う言い回しが出ただけで、指示を直し続ける必要はありません。
    一方で、誤った情報まで「AIらしさ」で片づけてよいわけでもありません。

    いつもの短い依頼を一つ選び、条件をそろえて数回保存してみませんか。
    「変わってよい表現」と「守るべき情報」。
    この二つを分けて見るところから始めましょう。


     
     
    AIと共に、美女・動画・歴史・音楽・アプリを制作。 プロンプトや設定の工夫を、実際の制作をもとに紹介しています。 週6日新記事公開 / 月曜定休。 記事の公開時間を20時〜に変更しました。 推し活SNS「想イロ」、毎日1問挑戦「想いDEクイズ」を運営しています。

    あなたへのおすすめ