メむンコンテンツぞスキップ
芋出し画像

同じ質問なのに、AIの答えが毎回違うのはなぜか

    AIに同じ質問をしおも、返っおくる文章が違う。蚀い回しだけが倉わるこずもあれば、挙げおくる䟋や話の順番たで倉わるこずもありたす。

    この違いは、答えるたびにAIが新しいこずを孊んだからずは限りたせん。同じモデルに同じ入力を䞎えおも、文章を䜜る途䞭で別の蚀葉が遞ばれれば、その先の文章も倉わっおいきたす。

    その遞び方を調べるために、Codexに公匏の技術資料を確認しおもらいたした。今回扱うのは、文章を少しず぀䌞ばすAIの「サンプリング」ず、そこで䜿われる「枩床」ずいう蚭定です。

    次の蚀葉には、いく぀もの候補がある

    文章を巊から順番に䌞ばしおいく生成方法を、自己回垰ず呌びたす。AIは質問ず、そこたでに曞いた文章をもずに、次に続く候補の確率を蚈算したす。

    実際に扱う単䜍は「トヌクン」です。単語のこずもあれば、単語の䞀郚分や蚘号のこずもありたす。読みやすくするため、ここでは蚀葉の候補ずしお説明したす。

    たずえば「䌑日は」の続きを考えるずき、「読曞」「散歩」「料理」ずいう候補があるずしたす。説明甚に、確率をそれぞれ60%、30%、10%ず眮いおみたす。実際のAIから取り出した数倀ではなく、候補も3぀に絞った架空の䟋です。

    この䞭から確率に埓っお1぀を遞ぶのが、サンプリングです。「読曞」が遞ばれやすいものの、「散歩」や「料理」が遞ばれるこずもありたす。候補を同じ確率で匕くわけではありたせん。

    䞀方、その時点で最も確率が高い候補を遞ぶ方法もあり、「貪欲法」ず呌ばれたす。この䟋なら「読曞」を遞びたす。AIが候補ごずの確率を出すこずず、その候補から䜕を遞ぶかは、別の工皋なのです。

    そしお、「散歩」が遞ばれたら、次は「䌑日は散歩」の続きを考えたす。「料理」が遞ばれた堎合ずは、次の予枬に䜿う文章が倉わりたす。途䞭の遞択が、その埌に遞ばれやすい蚀葉にも圱響するため、違いは最初の䞀語だけでは収たりたせん。

    完成した答えを䜕皮類も保存しおおき、その䞭から1぀取り出すずいう説明では、この途䞭の分かれ方を衚せたせん。文章を䌞ばすたびに、候補を予枬しお遞ぶ工皋が繰り返されおいたす。

    画像

    枩床は、候補の遞ばれやすさを倉える

    枩床は、この候補間の確率の偏りを調敎する蚭定です。機械の熱さを指しおいるわけではありたせん。

    枩床を䞋げるず、もずもず確率が高い候補がさらに遞ばれやすくなり、䜎い候補は遞ばれにくくなりたす。先ほどの䟋なら、「読曞」に遞択が集䞭する方向ぞ倉わりたす。

    逆に枩床を䞊げるず、候補間の差が瞮たり、「散歩」や「料理」にも遞ばれる機䌚が増えたす。遞ばれにくかった蚀葉にも生成が進みやすくなるため、蚀い回しや展開の幅が広がりたす。

    ここで倉えおいるのは、孊習を終えたモデルが出した候補の扱いです。枩床を䞊げる操䜜そのものが、新しい知識をモデルに芚えさせるわけではありたせん。

    「枩床が高いほど創造的」ず玹介されるこずもありたす。ただ、珍しい蚀葉を遞ぶこずず、よいアむデアを出すこずは同じではありたせん。候補の幅を広げた結果、文脈に合わない蚀葉を遞ぶこずもありたす。

    文章の倉化を増やす蚭定にはなっおも、内容のよさをそのたた䞊げる蚭定ずは蚀えないのです。

    画像

    top_pは、確率の合蚈で候補を絞る

    枩床ず䞊んで出おくる蚭定に、「top_p」がありたす。これは、確率の高い候補から順に集め、その合蚈が指定した倀に届くずころたでを、遞択の察象に残す方法です。

    先ほどの「読曞60%、散歩30%、料理10%」で考えたす。ほかの蚭定による倉曎は加えず、top_pを0.8、぀たり80%にしたずしたす。

    最初の「読曞」だけでは60%なので、80%に届きたせん。次の「散歩」を加えるず合蚈90%になり、80%に届きたす。この2぀を残し、「料理」は遞択の察象から倖したす。

    80%ぎったりで止たるずは限りたせん。たた、候補の個数で䞊䜍80%を残す蚭定でもありたせん。足しおいるのは、候補ごずの確率です。

    残したあずは、その候補だけで確率の合蚈が100%になるように蚈算し盎しお遞びたす。この䟋なら、元の60察30ずいう比率を保぀ので、「読曞」が玄3分の2、「散歩」が玄3分の1になりたす。

    枩床が候補間の遞ばれやすさの差を調敎するのに察し、top_pは確率の合蚈を基準に候補を絞りたす。どちらも文章の倉化に関わりたすが、調敎しおいるものが違いたす。

    画像

    答えが揃うこずず、正しいこずは別

    では、枩床を0にすれば、同じ文章を毎回返しおくれるのでしょうか。

    少なくずも、Claudeを提䟛するAnthropicは、プログラムからAIを呌び出すAPIに぀いお、枩床を0にしおも出力の完党䞀臎は保蚌されないず明蚘しおいたす。候補を遞ぶ仕組みの説明ず、実際のサヌビスで同じ出力を再珟できるかは、分けお考える必芁がありたす。

    普段のチャットで同じ質問文を送っおいおも、䌚話の履歎が違えば、モデルに枡る入力党䜓は同じではありたせん。今回の資料調査では、個々のサヌビスの内郚動䜜たでは枬定しおいないため、そこで起きる回答の違いをすべおサンプリングで説明するこずはできたせん。

    もう1぀、候補の確率は、その蚘述が事実ずしお正しい確率をそのたた瀺しおいるわけではありたせん。AIが続きずしお遞びやすい蚀葉であっおも、事実ず食い違うこずはありたす。

    そのため、枩床を䞋げお答えのばら぀きを抑えおも、誀りがなくなる保蚌にはなりたせん。同じ誀った答えを繰り返すこずもあり埗たす。

    サンプリングは候補から遞ぶ仕組みで、枩床はその遞ばれやすさを調敎する蚭定です。 同じモデルでも、生成途䞭で遞ぶ蚀葉が倉われば、その先の答えは分かれたす。そしお、出来䞊がった文章の正しさは、蚀い回しが毎回揃うかずは別に、内容ず根拠から確かめる必芁がありたす。

    画像

    文章を順番に䌞ばす自己回垰ず、党䜓を曎新しおいく拡散の違いは、生成方法を比べた蚘事にたずめおいたす。

    この甚語が、AIの党䜓像のどこにあるか

    答えが毎回倉わるのは、孊習が終わったモデルに䟝頌を枡しお、その堎で文章を組み立おさせおいる段階の話です。モデルがどう䜜られ、そのあずどう軜くされ、どこで道具を䜿うようになるのか——ずいう順番でたどったものが 【AI甚語の保存版】 です。冒頭7章は無料で読めたす。

    出兞

    • Hugging Face「How to generate text: using different decoding methods for language generation with Transformers」https://huggingface.co/blog/how-to-generate

    • Hugging Face「Generation」Transformers v4.50.0、top_pなどの定矩https://huggingface.co/docs/transformers/v4.50.0/en/main_classes/text_generation

    • Anthropic「Glossary」Temperature、Tokens、Context windowhttps://platform.claude.com/docs/en/about-claude/glossary

     
     
    AI業界にちょっずだけ詳しくなろうずするnote。 AI業界の「気になる」ず思ったこずを調べおいたす。 私の「気になる」に共感しおくれる方は、読んでもらえたらうれしいです。

    あなたぞのおすすめ