メむンコンテンツぞスキップ
芋出し画像

生成AIは次の蚀葉をどう遞ぶ点数を確率に倉える゜フトマックス関数ずtemperatureを図で解説

    生成AIに同じ質問をしおも、毎回少しず぀違う答えが返っおきたす。これは、生成AIが文章を䜜るずき、次に続く蚀葉を確率に埓っお遞んでいるためです。その確率を䜜る蚈算の䞀぀が、この蚘事で取り䞊げる゜フトマックス関数です。

    画像
    生成AIが次の蚀葉を遞ぶ流れ。候補に点数を付け、゜フトマックス関数で確率に倉え、確率に埓っお1぀遞ぶ

    ゜フトマックス関数は、ひずこずで蚀うず「点数を、合蚈100の確率に倉える蚈算」です。ネむピア数の蚘事では、e の䜿い道の䞀぀ずしお短く玹介したした。この蚘事では、1぀の䟋で蚈算を1行ず぀たどり、生成AIの答えのばら぀きを調敎する temperature ずいう蚭定倀たで説明したす。本文の出兞の番号を抌すず、出兞のペヌゞが開きたす。

    この蚘事で䜿う蚀葉のおさらい

    この蚘事では、高校数孊で習う指数を䜿いたす。必芁なずころだけ、先におさらいしたす。

    • eˣe はネむピア数ず呌ばれる数で、玄2.718です。eË£ は「e を x 回掛けた数」で、e²  2.718 × 2.718 ≒ 7.389 です。x が0のずきは e⁰  1、x が小数やマむナスのずきも倀が決たりたす。

    • 指数の割り算同じ数の环乗どうしの割り算は、指数の匕き算になりたす。e² ÷ e¹  e^(2−1)  e¹ です。この芏則がなぜ成り立぀かは、指数・察数の蚈算芏則の蚘事で図解しおいたす。

    画像
    eË£ のグラフ。どの x でも倀は正の数になり、x が1増えるごずに玄2.7倍になる

    グラフで芋るず、eË£ には2぀の特城がありたす。x がマむナスでも、倀は必ず正の数になりたす。たた、x が1増えるごずに、倀は玄2.7倍になりたす。この2぀が、あずで倧事になりたす。

    確率の぀の条件

    点数を確率に倉えるには、できあがった数が確率ずしお成り立っおいる必芁がありたす。確率には、次の぀の条件がありたす。

    1. どの倀も0以䞊である

    2. すべおを足すず1100になる

    画像
    確率の぀の条件。どれも0以䞊で、合蚈は1

    ゜フトマックス関数は、どんな点数を入れおも、この぀の条件を満たす数を返したす1。どのように満たすのかを、䟋で確かめたす。

    䟋「今日は倩気が」の次の蚀葉

    生成AIが「今日は倩気が」たで曞いたずころで、次の蚀葉の候補を「良い」「悪い」「雚」の぀に絞ったずしたす。それぞれに、次に来るのにどれくらいふさわしいかを衚す点数が付いおいるずしたす。点数は説明甚の仮の数字です。

    • 良い2.0

    • 悪い1.0

    • 雚0.1

    ゜フトマックス関数は、この点数を次の段で確率に倉えたす。

    1. それぞれの点数 x を eË£ に倉える

    2. それぞれを、eË£ の合蚈で割る

    匏で曞くず、候補 i の確率は「e^(点数 i) ÷すべおの候補の e^(点数) の合蚈」です1。分子は「その候補の eˣ」、分母は「すべおの候補の eË£ の合蚈」です。候補が n 個あるずき、それぞれの点数を x₁、x₂、 、xₙ ず曞きたす。

    画像
    ゜フトマックス関数の匏。分子はその候補の eˣ、分母はすべおの候補の eË£ の合蚈

    1段目eË£ に倉える

    e^2.0  7.389
    e^1.0  2.718
    e^0.1  1.105

    2段目合蚈で割る

    合蚈  7.389  2.718  1.105  11.213
    良い  7.389 ÷ 11.213 ≒ 0.65965.9
    悪い  2.718 ÷ 11.213 ≒ 0.24224.2
    雹  1.105 ÷ 11.213 ≒ 0.0999.9

    画像
    点数を eË£ に倉え、合蚈で割るず、確率になる

    ぀を足すず 65.9  24.2  9.9  100です。どれも0以䞊なので、確率の぀の条件を満たしおいたす。合蚈で割るず、それぞれが「党䜓のうちの割合」になるので、足すず必ず1になりたす。

    画像
    「良い」「悪い」「雚」の確率。点数の高い「良い」が玄分のを占める

    なぜ、eË£ に倉えおから割るのか

    点数をそのたた合蚈で割っおも、合蚈は1になりたす。それなのに、なぜ先に eË£ に倉えるのでしょうか。

    点数は、マむナスにもなる

    生成AIの点数は、マむナスにもなりたす。たずえば、点数が 2・1・−1 だったずしたす。そのたた合蚈2  1 − 1  2で割るず、2 ÷ 2  100、1 ÷ 2  50、−1 ÷ 2  −50 になり、マむナスの確率が出おしたいたす。

    画像
    点数をそのたた割合にするず、マむナスの確率が出る。eË£ に倉えるず、どれも正の数になる

    eË£ に倉えるず、e² ≒ 7.389、e¹ ≒ 2.718、e^(−1) ≒ 0.368 ず、どれも正の数になりたす。しかも、点数の高い順に eË£ も倧きくなるので、点数の倧小の順は倉わりたせん。合蚈 10.475 で割るず、70.5・25.9・3.5 ずなり、確率の条件を満たしたす。

    点数の差が、確率の䜕倍かを決める

    もう䞀぀の理由は、点数ず確率の関係が分かりやすくなるこずです。先の䟋で、「良い」の確率は「悪い」の䜕倍かを蚈算しおみたす。

    65.9 ÷ 24.2 ≒ 2.72倍

    この2.72ずいう数は、e玄2.718ずほが同じです。これは偶然ではありたせん。順にたどりたす。

    1. 「良い」も「悪い」も、同じ合蚈11.213で割った数です。そのため、確率どうしの比は、割る前の eË£ どうしの比ず同じになりたす。
      65.9 ÷ 24.2 7.389 ÷ 11.213÷2.718 ÷ 11.213 7.389 ÷ 2.718

    2. 7.389 は e²、2.718 は e¹ です。指数の割り算は、指数の匕き算になりたす。
      7.389 ÷ 2.718  e² ÷ e¹  e^(2−1)  e¹ ≒ 2.718

    3. 2 − 1 は、「良い」ず「悪い」の点数の差です。点数の差が1なので、確率は e倍玄2.7倍になりたす。

    画像
    確率の比は eË£ の比ず同じで、指数の割り算は匕き算になる。点数の差が1なら、確率は e倍

    「悪い」ず「雚」でも確かめたす。点数の差は 1.0 − 0.1  0.9 なので、確率の比は e^0.9 ≒ 2.46 倍になるはずです。実際に 2.718 ÷ 1.105 ≒ 2.46 で、䞀臎したす。

    ぀たり、゜フトマックス関数では、点数の差が確率の比を決めたす。差が1なら玄2.7倍、差が2なら e² で玄7.4倍、差が3なら e³ で玄20倍です。点数の差が少し開くだけで、確率の差は倧きく開きたす。

    画像
    点数の差ず、確率の比。差が1増えるごずに、比は玄2.7倍ず぀倧きくなる

    temperature答えのばら぀きを調敎する蚭定倀

    生成AIには、temperature ずいう蚭定倀がありたす。答えのばら぀きの倧きさを調敎するもので、日本語では「枩床」ず蚳されるこずもありたす。もずは物理孊の蚀葉ですが、ここでは「確率の偏りを匷めたり匱めたりする数」ず考えれば十分です。

    䜿い方は、゜フトマックス関数の1段目の前に、点数を temperature で割るだけです2。temperature が1なら、点数は倉わりたせん。

    temperature を倉えるず、確率はこう倉わる

    先の䟋で、temperature を0.5・1・2の通りにしお蚈算したす。

    • temperature 0.5点数を0.5で割るず 4.0・2.0・0.2 になり、確率は 86.4・11.7・1.9

    • temperature 1点数はそのたたで、確率は 65.9・24.2・9.9

    • temperature 2点数を2で割るず 1.0・0.5・0.05 になり、確率は 50.2・30.4・19.4

    画像
    temperature を倉えたずきの確率。小さいず「良い」に集䞭し、倧きいずなだらかになる

    なぜ、こう倉わるのか

    理由は、前の節の「点数の差が確率の比を決める」にありたす。temperature 0.5 では、点数を0.5で割るので、「良い」ず「悪い」の点数の差は1から2に広がりたす。確率の比は e² で玄7.4倍になり、実際に 86.4 ÷ 11.7 ≒ 7.4 です。

    temperature 2 では、点数の差は1から0.5に瞮たりたす。確率の比は e^0.5 で玄1.65倍になり、実際に 50.2 ÷ 30.4 ≒ 1.65 です。temperature は、点数の差を広げたり瞮めたりするこずで、確率の偏りを調敎しおいたす。

    画像
    temperature で割るず点数の差が倉わり、確率の比も倉わる

    temperature を0に近づけるず、点数の差はどこたでも広がり、いちばん点数の高い候補の確率が100に近づきたす。逆に temperature を倧きくするず、点数の差が0に近づき、どの候補もほが同じ確率になりたす。1より小さい temperature は、確率の高い候補に遞び方を偏らせたす3。

    生成AIが文章を䜜る流れ

    ここたでの蚈算を、生成AIが文章を䜜る流れに圓おはめたす。生成AIは、文章を䞀床に䜜るのではなく、蚀葉を1぀ず぀぀なげおいきたす3。

    1. それたでの文章をもずに、次の蚀葉の候補すべおに点数を付ける

    2. 点数を temperature で割り、゜フトマックス関数で確率に倉える

    3. 確率に埓っお、くじを匕くように1぀の蚀葉を遞ぶ

    4. 遞んだ蚀葉を文章の最埌に付け足し、1に戻る

    画像
    生成AIは、点数を付ける・確率に倉える・1぀遞ぶ・付け足す、をくり返しお文章を䜜る

    実際の生成AIでは、候補は぀ではなく数䞇語にのがりたす。それでも、蚈算の圢は同じです。

    この流れから、生成AIのふるたいを2぀説明できたす。

    • 同じ質問でも答えが倉わる理由3で確率に埓っお遞ぶので、「良い」が65.9でも、24.2の確率で「悪い」が遞ばれたす。最初の1語が違えば、その埌の文章も倉わっおいきたす。

    • temperature を䞋げるず答えがそろう理由temperature を䞋げるず、いちばん点数の高い蚀葉の確率が倧きくなるので、毎回同じ蚀葉が遞ばれやすくなりたす。決たった圢匏の文章や、蚈算・分類など答えが䞀぀に決たる甚途では䜎めに、文章の蚀い回しに幅を持たせたい甚途では高めにする、ずいう䜿い分けをしたす。

    ほかの䜿い道

    ゜フトマックス関数は、文章を䜜るAIだけでなく、いく぀かの遞択肢から1぀を遞ぶAIで広く䜿われおいたす。たずえば、画像が「猫」「犬」「鳥」のどれかを芋分けるAIでも、最埌の段階で遞択肢ごずの点数を゜フトマックス関数で確率に倉えたす。

    遞択肢が2぀だけのずきは、゜フトマックス関数はロゞスティック関数ず同じ圢になりたす。ロゞスティック関数は、「はい・いいえ」の確率を求めるずきによく䜿われる関数です。ネむピア数の蚘事の䜿い道で玹介しおいたす。

    Pythonで確かめる

    ここたでの蚈算を、Python で確かめたす。数の配列をたずめお蚈算できる NumPy ずいうラむブラリを䜿い、゜フトマックス関数を自分で曞きたす。科孊蚈算のラむブラリ SciPy にも゜フトマックス関数が甚意されおいるので4、結果が䞀臎するかも確かめたす。

    画像
    コヌドの流れ。点数を temperature で割り、eË£ に倉え、合蚈で割る。最埌に確率に埓っお1,000回遞ぶ
    import numpy as np
    from scipy.special import softmax as scipy_softmax
    
    words = ["良い", "悪い", "雹"]
    scores = np.array([2.0, 1.0, 0.1])  # 説明甚の仮の点数
    
    
    def softmax(x, temperature=1.0):
        e = np.exp(x / temperature)  # 点数を temperature で割っおから eË£ にする
        return e / e.sum()           # 合蚈で割っお、合蚈を1にする
    
    
    for t in [0.5, 1.0, 2.0]:
        p = softmax(scores, t)
        text = "・".join(f"{w} {v:.1%}" for w, v in zip(words, p))
        print(f"temperature {t}: {text}")
    
    print("SciPy ず䞀臎:", np.allclose(softmax(scores), scipy_softmax(scores)))
    
    # 確率に埓っお1,000回くじを匕き、遞ばれた回数を数える
    rng = np.random.default_rng(0)
    for t in [0.5, 2.0]:
        picks = rng.choice(words, size=1000, p=softmax(scores, t))
        counts = {w: int((picks == w).sum()) for w in words}
        print(f"temperature {t} で1,000回遞ぶ: {counts}")

    実行するず、次のように衚瀺されたす。

    temperature 0.5: 良い 86.4%・悪い 11.7%・雚 1.9%
    temperature 1.0: 良い 65.9%・悪い 24.2%・雚 9.9%
    temperature 2.0: 良い 50.2%・悪い 30.4%・雚 19.4%
    SciPy ず䞀臎: True
    temperature 0.5 で1,000回遞ぶ: {'良い': 869, '悪い': 110, '雹': 21}
    temperature 2.0 で1,000回遞ぶ: {'良い': 535, '悪い': 272, '雹': 193}

    確率は、本文で手で蚈算した倀ず䞀臎しおいたす。1,000回遞んだ結果を芋るず、temperature 0.5 では「良い」が869回ず倧半を占め、temperature 2 では「悪い」「雚」もそれぞれ200回前埌遞ばれおいたす。np.exp は eË£ を、e.sum() は合蚈を、rng.choice は確率に埓っおくじを匕く蚈算をしたす。

    画像
    1,000回遞んだ結果。temperature 0.5 では「良い」に集䞭し、temperature 2 では遞ばれる蚀葉がばら぀く

    たずめ

    • ゜フトマックス関数は、点数を eË£ に倉えお、合蚈で割るこずで、合蚈100の確率に倉える蚈算です。

    • eË£ に倉えるのは、マむナスの点数があっおも確率をすべお正にし、点数の倧小の順を保぀ためです。

    • 確率の比は点数の差で決たり、差が1なら玄2.7倍e倍になりたす。

    • temperature は、点数を割っお差を広げたり瞮めたりし、答えのばら぀きを調敎する蚭定倀です。小さいず答えがそろい、倧きいず答えに幅が出たす。

    • 生成AIは、点数を付ける・確率に倉える・1぀遞ぶ・付け足す、をくり返しお文章を䜜りたす。

    画像
    たずめ。点数を eË£ に倉えお合蚈で割るず確率になり、temperature でばら぀きを調敎する

    免責事項

    この蚘事は、筆者が個人ずしお教科曞や論文などを調べ、2026幎10月31日時点で、゜フトマックス関数の考え方を孊習甚にたずめたものです。分かりやすさを優先しお、厳密な定矩や现かい条件は省いおいたす。厳密な内容は、参考文献や教科曞でご確認ください。

    䟋の点数や確率は説明甚の仮の数字で、実際の生成AIの倀ではありたせん。実際の生成AIの仕組みや temperature の範囲・初期倀は、サヌビスやモデルによっお異なりたす。利甚するサヌビスの公匏ドキュメントでご確認ください。この蚘事の内容を利甚しお生じた損害に぀いおは、責任を負いかねたす。

    NDシステムズに぀いお

    NDシステムズは、犏岡県久留米垂を拠点に、ホヌムペヌゞの制䜜、業務に合わせた事務のシステムの開発、AI・DX支揎を行っおいたす。たずはお気軜に無料盞談でご盞談ください。

    関連する蚘事

    参考文献

    1. Ian Goodfellow, Yoshua Bengio, Aaron Courville『Deep Learning』MIT Press、2016幎6.2.2.3「Softmax Units for Multinoulli Output Distributions」180〜181ペヌゞ英語

    2. Geoffrey Hinton, Oriol Vinyals, Jeff Dean「Distilling the Knowledge in a Neural Network」arXiv、2015幎2〜3ペヌゞ英語

    3. Ari Holtzman ほか「The Curious Case of Neural Text Degeneration」ICLR 20203ペヌゞ・3.3節英語

    4. scipy.special.softmaxSciPy 公匏ドキュメント英語

     
     
    犏岡県久留米垂のNDシステムズです。IT・AI、語孊、䌚蚈、数孊、九州北郚の颚景などに぀いお、調べお考えたこずを曞いおいたす。蚘事は筆者が個人ずしお調べた執筆時点の内容で、専門家の助蚀ではありたせん。最新の情報は出兞でご確認ください。

    あなたぞのおすすめ