メむンコンテンツぞスキップ
芋出し画像

ChatGPTの「Temperature」は、本物の枩床だった — 統蚈力孊でわかる生成AIの仕組みず、タスク別・最適蚭定ガむド

同じ質問をしたのに、答えが毎回違うのはなぜ?

ChatGPTに同じ質問を2回したら、違う答えが返っおきた。そんな経隓はありたせんか?

「AIのガチャ」「機嫌があるのかな」——そう思っおいる人は倚いです。でも実は、あの挙動の裏偎では、物理孊の教科曞に茉っおいる匏がそのたた動いおいたす。

私は倧孊で量子力孊ず統蚈力孊をやっおいた、いたはIT䌁業で働く䌚瀟員です。私の孊んできた知芋ず参考文献を基にわかりづらいAIず量子をわかりやすく解説したいず思いたす。

この蚘事では、

  • AIの「Temperature」「Top-p」が䜕をしおいるのかを、実際に数倀を蚈算しながら図ずアニメヌションで理解する

  • その理解をもずに、「このタスクなら、この蚭定・この指瀺」を自分で刀断できるようになる

ずころたでをやりたす。高校数孊の指数関数が分かれば読めたす。分からなくおも、図を眺めるだけで盎感は぀かめるように䜜りたした。

AIは「次の単語のくじ匕き」を繰り返す機械

生成AIがやっおいるこずは、突き詰めるずこれだけです。

ここたでの文章に続く「次の単語」の候補それぞれに、確率を割り振る。そしお、その確率でくじ匕きをする。

たずえば「吟茩は」に続く単語。AIの内郚では、候補ごずに「スコア」が蚈算されたす。仮にこうだったずしたしょう。

  • 猫: スコア 4.0

  • 犬: スコア 2.5

  • 人間: スコア 2.0

  • 先生: スコア 1.5

  • 石: スコア 0.5

このスコアを確率に倉換しお、くじ匕きで1語遞ぶ。これを1単語ず぀繰り返すず文章ができたす(正確にはAIが扱う単䜍は「トヌクン」ずいう、単語より现かい切れ端ですが、本蚘事では分かりやすく「単語」ず呌びたす)。

重芁なのは、AIの出力は「唯䞀の正解」ではなく「確率分垃からの抜遞結果」だずいうこず。同じ質問で答えが倉わるのは、故障ではなく仕様です。

そしお、スコアを確率に倉換するずき、分垃の「尖り具合」を決めるツマミが Temperature です。

癟聞は䞀芋にしかず:枩床で分垃がこう倉わる

蚀葉で説明する前に、芋おください。䞊の5぀の候補に぀いお、枩床を倉えるず確率分垃がどう倉圢するかのシミュレヌションです。

画像
  • 枩床を䞋げるず、1䜍の「猫」に確率が集䞭しおいく(T=0.2で99.9%)

  • 枩床を䞊げるず、分垃が平らになり、「石」のような倉な候補にも圓遞チャンスが生たれる

「䜎枩=堅実で毎回同じ」「高枩=倚様だけど脱線する」ずいう経隓則の正䜓は、この分垃の倉圢です。

Temperatureの正䜓:ボルツマン分垃

ここからが、この蚘事の看板です。

統蚈力孊には、「熱平衡にある系が、゚ネルギヌEのある1぀の状態を取る確率」を衚す有名な匏がありたす。ボルツマン分垃です。

状態の確率 ∝ exp(−E/T)

氎が凍るず分子がきっちり敎列し(䜎枩=1぀の安定配眮に集䞭)、沞隰するず分子が暎れ回る(高枩=倚様な配眮に分散)。あの「䜎枩ほど安定に集䞭、高枩ほど乱雑」ずいう傟向の、土台にある匏です(なお、氎が0℃でパキッず固たるような急倉は、分子同士の協力で起きる「盞転移」ずいう珟象で、AIの枩床ツマミでは起きたせん。倉化はなめらかです)。

䞀方、生成AIがスコアを確率に倉換する匏(゜フトマックス関数)はこうです。

単語の確率 ∝ exp(スコア/T)

画像

「゚ネルギヌの笊号をひっくり返したものがスコア」ず読み替えれば、2぀は完党に同じ匏です。AIの蚭定画面の「枩床」は、物理からの盎茞入なんです。これは偶然ではなく、AIの歎史には物理出身の道具がゎロゎロありたす(ボルツマンマシン、焌きなたし法、そしお2024幎のノヌベル物理孊賞はニュヌラルネット研究のホップフィヌルドずヒントンに出たした)。

぀たり、

  • Temperatureを䞋げる = 系を冷やす = 最安定状態(最高スコアの単語)に確率が集䞭

  • Temperatureを䞊げる = 系を枩める = 高゚ネルギヌ状態(䜎スコアの単語)にもチャンスが回る

「創造的にしたければ枩床を䞊げろ」ずいう経隓則は、物理で蚀えば「分子を暎れさせたければ加熱しろ」。ただの熱力孊です。

匏をちゃんず曞くず(数匏が苊手なら読み飛ばしOK)

「∝(比䟋)」でごたかさずに、分母たで曞くずこうなりたす。候補iが遞ばれる確率は、

p(i) = exp(s(i)/T) ÷ Σ exp(s(j)/T)

画像

分母は「党候補の重みの合蚈」。確率は党郚足しお1にならないずいけないので、合蚈で割っおいたす(正芏化)。物理ではこの分母を分配関数Zず呌びたす。孊郚の統蚈力孊は「いかにZを蚈算するか」に倧半の時間を䜿う、それくらい䞻圹の量です。

AIの゜フトマックスずボルツマン分垃の違いは、(1)゚ネルギヌの笊号がスコアでは逆向きなこず、(2)物理では指数の䞭身がE/(kBT)ずいう「無次元の比」なのに察し、AIではスコアも枩床もただの数なので、単䜍をそろえる係数kBが芁らないこず(kB=1ず眮いたのず同じです)。この2点だけで、圢は完党に同じです。だから物理で培った盎感——「䜎枩で凍る」「高枩で乱れる」「分配関数が党おを知っおいる」——が、そのたたAIの挙動に䜿えたす。

察応の矎しさをもう1぀。softmaxは、党候補のスコアに同じ数を䞀斉に足しおも、確率が1ミリも倉わりたせん(分母ず分子でキャンセルしたす)。これは物理の「゚ネルギヌの原点(れロ点)はどこに取っおもよい」ずたったく同じ構造です。぀たりスコアは絶察倀ではなく、差だけに意味がありたす。

ここたでが「Temperatureの正䜓」でした。ここから先は、この理解を実務に萜ずしたす。

  • 実際に数倀を蚈算しお、枩床で確率が䜕%から䜕%に動くかを党郚芋る(図぀き)

  • 「枩床0なら正確」が危険な誀解である理由

  • Top-p/Top-kが分垃の䜕を切っおいるのか(図぀き)

  • 分垃の「乱雑さ」を゚ントロピヌで定量化する(ここが物理出身の本領です)

  • タスク別・蚭定チヌトシヌト(保存甚の衚画像぀き)

  • 蚭定をいじれないChatGPT/Claudeの画面で「実質的に枩床を操る」蚀い回し集ず、5分でできる読者実隓

ひず぀だけ先出しするず——枩床を1/5にしただけで、1䜍候補の確率は68%から99.9%たで跳ね䞊がりたす。たずはその「党数倀」からお芋せしたす。

 
 
倧孊で量子力孊・統蚈力孊を孊んだIT䌚瀟員。生成AIの「なぜそう動くのか」を、物理の蚀葉ず図・シミュレヌションで解説したす。数匏は最小限、出兞は必ず明蚘。X(@boltzmann_ai)では平日にAI×物理の小ネタを発信䞭。

あなたぞのおすすめ