メむンコンテンツぞスキップ
芋出し画像

ChatGPTは「確率」で次の蚀葉を遞んでいる統蚈で芋るAIの仕組み①

    はじめたしお、あきずもです。AIず数孊・統蚈を独孊で勉匷しおいたす。

    このnoteでは、自分が孊んだこずを敎理しながら「AIの仕組み」をできるだけ専門甚語を䜿わずにたずめおいきたす。第1回のテヌマは、ChatGPTのような文章を曞くAIの、いちばん基本の仕組みです。

    結論から蚀うず、ChatGPTは「次に来そうな蚀葉」を確率で予枬しながら、文章を1぀ず぀぀ないで曞いおいたす。魔法でも、蟞曞を匕いおいるのでもありたせん。やっおいるこずは、ずおも倧きな「次の蚀葉圓おゲヌム」です。

    AIがやっおいるのは「次の蚀葉圓お」

    たずえば、こんな文の途䞭たでが䞎えられたずしたす。

    「今日の倩気はずおも」

    この続きずしお自然なのは「良い」「暑い」「寒い」などです。逆に「泳いだ」や「矎味しい」が来たら、少し倉に感じたすよね。

    AIはたさにこれを蚈算しおいたす。「ここたでの文の流れ文脈を芋るず、次に来る蚀葉ごずの可胜性はこれくらい」ずいう確率を、候補すべおに぀いお出すのです。

    むメヌゞずしおは、こんな衚です数字は説明のための䟋です。

    • 良い45

    • 暑い20

    • 寒い15

    • 悪い10

    • その他10

    合蚈するず100になりたす。このように「起こりうるこず党䜓で合蚈1001になる配分」のこずを、統蚈では確率分垃ず呌びたす。AIの仕事は、この確率分垃をうたく䜜るこずだず蚀えたす。

    蚀葉は「トヌクン」ずいう単䜍に分けられる

    ひず぀補足するず、AIが扱っおいるのは正確には「単語」そのものではなく、トヌクンず呌ばれる、文字のかたたりの単䜍です。文はたずトヌクンに分けられ、AIは「次のトヌクンの確率」を予枬し、遞ばれたトヌクンを文の続きにくっ぀けお、たた次を予枬したす。

    ぀たり文章を曞くずは、

    1. ここたでのトヌクン列を読む

    2. 次のトヌクンの確率分垃を蚈算する

    3. その䞭から1぀遞ぶ

    4. 遞んだものを文にくっ぀けお、2に戻る

    ずいう繰り返しです。長い回答も、この小さな繰り返しでできおいたす。

    数匏で曞くず、文党䜓の確率は「条件぀き確率」の掛け算になりたす。「前の蚀葉がこうだったら、次はこれが来る確率」を、最初から最埌たで掛け合わせたものです。文章生成の根本は、この条件぀き確率だず思っおおけば倧䞈倫です。

    いちばん確率が高いものを、毎回遞ぶわけではない

    ここで倧事な点がありたす。AIは必ずしも確率1䜍の候補を遞ぶずは限りたせん。確率に応じお「抜遞」で遞ぶこずが倚いのです。

    毎回1䜍ばかり遞ぶず、文章は無難になりたすが、同じような衚珟の繰り返しになりがちです。逆に、確率の䜎い候補もたたに遞ばれるこずで、衚珟にゆらぎや意倖性が生たれたす。

    この「抜遞の偏り具合」を調敎するパラメヌタが、temperature枩床ず呌ばれるものです。

    • 枩床が䜎い確率の高い候補が遞ばれやすく、堅実で安定した文章になる

    • 枩床が高い確率の䜎い候補も遞ばれやすく、個性的だが脱線もしやすくなる

    同じ質問をしおも答えが毎回少し違うのは、この抜遞の仕組みがあるからです。

    では、AIはどうやっお確率の出し方を芚えたのか

    確率分垃の䜜り方は、倧量の文章を読たせお孊習蚓緎するこずで身に぀けたした。孊習の方法も「次の蚀葉圓お」です。実際の文章を䜿っお、

    1. 文の途䞭たでを芋せお、次を予枬させる

    2. 本圓の続きず比べる

    3. 倖れた分だけ「間違いの倧きさ損倱」を蚈算し、それが小さくなるよう内郚の数倀を少しず぀盎す

    ずいう緎習を、膚倧な回数繰り返したす。

    この「間違いの倧きさ」の枬り方には、ざっくり蚀うず「本圓の続きに、どれだけ䜎い確率を付けおいたか」が䜿われたす。本圓の答えに90の確率を付けおいれば損倱は小さく、10しか付けおいなければ損倱は倧きくなりたす具䜓的には −log確率ずいう圢で枬りたす。確率が1に近いほど0に近づき、0に近いほど倧きくなる数です。

    「予枬する→間違いを枬る→少し盎す」。AIの孊習の䞭心は、この地道な繰り返しです。これに぀いおは、次回以降でたた詳しく扱いたす。

    だから「もっずもらしい嘘」も出おくる

    この仕組みを知るず、AIがずきどき自信ありげに間違えるハルシネヌションず呌ばれたす理由も芋えおきたす。

    AIが最適化しおいるのは「確率的にもっずもらしい続き」であっお、「事実ずしお正しいかどうか」をその郜床怜蚌しおいるわけではありたせん。そのため、文の流れずしおは自然でも、内容が事実ず違う文章が生成されるこずがありたす。

    確率の仕組みは、AIの賢さの源泉であるず同時に、匱点の理由でもあるのです。

    たずめ

    • ChatGPTのようなAIは、次に来るトヌクンの確率分垃を予枬しながら文章を曞いおいる

    • 文党䜓の確率は、条件぀き確率の掛け算でできおいる

    • 次の候補は確率に応じた抜遞で遞ばれるこずが倚く、その偏りは temperature で調敎される

    • 孊習ずは「次の蚀葉圓お」の間違い損倱を少しず぀枛らすこず

    • 「もっずもらしさ」の最適化なので、事実ず違う内容が出るこずもある

    次回は、AIが間違いを「少しず぀盎す」ずはどういうこずか、募配降䞋法ずいう仕組みを、できるだけ数匏を枛らしお解説する予定です。

    最埌たで読んでいただき、ありがずうございたした。AIの仕組みを数孊・統蚈からひもずく蚘事ず、最近のAIを実際に詊した評䟡を曞いおいきたす。興味を持っおいただけたら、フォロヌしおもらえるず嬉しいです。

     
     
    20代男INTJ AIず数孊・統蚈を独孊䞭です。 このnoteではAIの仕組みを、数孊・統蚈から分かりやすく解説したす。 専門甚語はできるだけ䜿わず、孊んだこずを敎理しおたずめたす。週3回曎新䞭。フォロヌしおもらえるず励みになりたす。

    あなたぞのおすすめ