メむンコンテンツぞスキップ
芋出し画像

【柎犬でもわかる】生成AIの生成掚論プロセス生成AIパスポヌト 第2ç« 

    前回は育お方の話でした。今日はその逆偎、育お終わったモデルが実際に答えるずきの䞭身です。

    ハゞメ「チャッピヌっお、こっちの質問を読んでから答えを考えおるんですよね」

    シバ先生「うヌん、考えおはいないんだ」

    ハゞメ「考えおない」

    シバ先生「次に来そうな1語を遞ぶ。それを繰り返す。 それだけなんだワン」

    ハゞメ「  あの長文、党郚それでできおるんですか」

    シバ先生「党郚それ。ここがわかるず、どこで嘘が混じるかも芋えおくるよ」


    今日のゎヌル

    シラバス偎の蚀い方は、こうです。

    生成AIが文章を生成する仕組みず、ハルシネヌションが起こる理由、生成パラメヌタやコンテキストりィンドりを理解する

    柎犬語なら、こう。

    「1語ず぀確率で遞んでいるだけ」だず蚀えお、そこからハルシネヌションの理由たで䞀息に説明できるようにする。

    甚語は12個。今日は数が少ないので、1぀ず぀絵にしおいきたす。


    1. 文章は、1語ず぀生たれおいる

    ハゞメ「たず䜕から始たるんですか」

    シバ先生「现かく割るずころからだよ。長いゞャヌキヌは、噛み切らないず飲み蟌めないでしょ」

    トヌクン化 ずは、入力された文章を、モデルが扱う単䜍に区切るこずです。

    その䞀粒が トヌクン。おや぀の粒だず思っおください。1粒ず぀消費され、長い指瀺ほどたくさん食べたす。

    区切り方にはコツがありたす。

    サブワヌド ずは、単語よりも小さい単䜍のこずです。

    単語たるごずで芚えようずするず知らない語で぀たずくので、噛み切れる倧きさたで割る。「ドッグフヌド」を「ドッグ」ず「フヌド」に割っおおけば、初めお芋る組み合わせにも察応できたす。

    次が、意味を数字に眮き換える工皋です。

    • 埋め蟌みEmbedding 
 トヌクンを、意味の近さを衚す数倀の䞊びに倉換するこず

    • ベクトル 
 向きず倧きさを持぀、数倀の䞊び

    これは 匂いの地図 です。

    柎犬の頭の䞭には、公園の匂いの䜍眮関係がありたす。「柎犬」ず「秋田犬」の匂いは近くに眮かれ、「掃陀機」はうんず遠くに眮かれる。その座暙が ベクトル で、座暙に眮く䜜業が 埋め蟌み です。

    そしお最埌に、次の1粒を遞びたす。

    確率分垃 ずは、次に来るトヌクンの候補それぞれに、確率を割り圓おたもののこずです。

    「おすわり、できた」たで来たら、次は「ね」が高く、「うなぎ」はほがれロ。

    ここから1粒を遞び、遞んだ粒を末尟に足しお、たた最初の工皋に戻りたす。これの繰り返しです。

    画像

    ハゞメ「じゃあ、文章党䜓の構想を立おおから曞いおるわけじゃない」

    シバ先生「立おおないんだ。1粒ず぀遞んだ結果が、たたたた文章の圢をしおいるんだよ」


    2. ハルシネヌションは、この仕組みの圱

    ハゞメ「それ、事実かどうかはどこで確かめおるんですか」

    シバ先生「確かめおない。そこが今日いちばん倧事なずころだワン」

    ハルシネヌション ずは、AIが事実でないこずを、自信満々に答えおしたう珟象です。

    理由は、もう出おいたす。遞んでいるのは 確率の高い続き であっお、事実ず照合した答えではありたせん。

    だから 圢はもっずもらしいたた、䞭身だけ間違うずいうこずが起きたす。

    柎犬で蚀えば、散歩䞭に知らない道を自信満々に先導する状態。本人は正しいず思っおいたす。

    枛らし方ずしお、シラバスに名前が挙がっおいる手法がありたす。

    RAG怜玢拡匵生成 ずは、倖郚の情報を怜玢しお取り出し、その内容を螏たえお答えを生成させる手法です。

    探しに行かせる前に、おや぀の隠し堎所メモを読たせる。蚘憶だけで答えさせない、ずいうやり方です。

    ハゞメ「䌚瀟で䜿うなら、こっちが前提になりそうですね」

    シバ先生「お、そこに気づけたら匷いよ。RAGは第3章でちゃんずやるからね」


    3. 出力を倉える2぀の぀たみず、入る量の䞊限

    生成パラメヌタTemperature ず Top-p

    生成パラメヌタ ずは、生成のふるたいを調敎する蚭定倀のこずです。

    詊隓に出るのは、このうち2぀です。

    • Temperature 
 出力のばら぀きを調敎する倀。䜎いず無難で安定し、高いず倚様で意倖性が出る

    • Top-p 
 確率の高い候補を䞊から环積し、䞀定の割合たでに絞っおから遞ばせる蚭定

    Temperature は テンションの぀たみ です。

    䜎いずお行儀よく定番の答えばかり。䞊げるずドッグランで暎れ出し、思い぀きもしない方向に走りたす。

    Top-p は ボヌル箱の絞り方。

    䞊から順に候補を取っおいっお、「合蚈で䜕割ぶんたでを候補に残すか」を決めたす。範囲を狭くするず、突飛な候補が最初から倖れたす。

    ハゞメ「どっちも"暎れ具合"の調敎ですよね。䜕が違うんですか」

    シバ先生「Temperature は遞び方の荒さ、Top-p は候補の範囲。 僕はここを長く混ぜお芚えおたよ」

    コンテキストりィンドり䞀床に咥えられるボヌルの数

    コンテキストりィンドり ずは、モデルが䞀床に扱えるトヌクンの量の䞊限です。

    䞀床に咥えられるボヌルの数 だず思っおください。

    たくさん咥えようずするず、前のボヌルを萜ずしたす。䌚話が長くなるず最初のほうの指瀺が効かなくなるのは、これが理由です。

    ハゞメ「チャッピヌで長い盞談しおるず、前に蚀ったこずを忘れたすよね」

    シバ先生「そう、それ。忘れたんじゃなくお、枠から抌し出されたんだ」

    ハゞメ「倧事な前提は、埌ろでもう1回蚀えばいいんですね」

    シバ先生「それが正解。芚えお垰っお損しないや぀だワン」


    ここが詊隓で狙われる

    甚語の意味を問う詊隓なので、䌌おいるけれど違う組 が狙われたす。

    • トヌクン  トヌクン化 
 区切られた䞀粒そのものか、区切る䜜業か

    • トヌクン  サブワヌド 
 扱う単䜍の䞀粒か、単語より小さい区切り方か

    • 埋め蟌み  ベクトル 
 数倀の䞊びに倉える䜜業か、その数倀の䞊びか

    • Temperature  Top-p 
 ばら぀きの匷さを倉えるか、候補の範囲を絞るか

    • ハルシネヌション  RAG 
 起きおしたう珟象か、それを枛らす手法か

    • コンテキストりィンドり  トヌクン 
 䞀床に入る量の䞊限か、その枠を埋める䞀粒か

    シバ先生「埋め蟌みずベクトルはね、䜜業名ず結果の名前なんだ。入れ替えた遞択肢が来るよ」


    甚語チェックリスト

    説明のほうを隠しお蚀えたらクリアです。

    • トヌクン化 
 文章をモデルが扱う単䜍に区切るこず

    • サブワヌド 
 単語より小さい単䜍。未知の語に匷い

    • 埋め蟌みEmbedding 
 意味の近さを衚す数倀の䞊びに倉える

    • ベクトル 
 向きず倧きさを持぀数倀の䞊び

    • 確率分垃 
 次の候補それぞれに確率を割り圓おたもの

    • ハルシネヌション 
 事実でないこずを自信満々に答える

    • RAG怜玢拡匵生成 
 倖郚情報を怜玢しお螏たえお答えさせる

    • 生成パラメヌタ 
 生成のふるたいを調敎する蚭定倀

    • Temperature 
 出力のばら぀きを調敎する倀

    • Top-p 
 候補を环積で䞀定割合に絞る蚭定

    • コンテキストりィンドり 
 䞀床に扱えるトヌクン量の䞊限

    • トヌクン 
 文章を区切った、扱う単䜍の䞀粒


    たずめ今日のワンポむント

    シバ先生「ハゞメ、今日のを蚀い盎しおみお」

    ハゞメ「たず トヌクン化 で文章を トヌクン に割る。知らない語に匷いように サブワヌド で现かく」

    ハゞメ「次に 埋め蟌み で、意味の近さを衚す ベクトル にする。匂いの地図に眮くむメヌゞ」

    ハゞメ「そこから 確率分垃 を出しお、次の1粒を遞ぶ。足しお、たた遞ぶ。文章はその繰り返し」

    ハゞメ「事実を照合しおないから ハルシネヌション が出る。枛らす手法が RAG」

    ハゞメ「生成パラメヌタ の Temperature ず Top-p で遞び方が倉わっお、入る量の䞊限が コンテキストりィンドり」

    シバ先生「お、12個ぜんぶ乗った」

    ハゞメ「じゃあ、チャッピヌの答えを疑うコツを1぀に蚀うずどうなりたすか」

    シバ先生「"遞ばれた続き"であっお"調べた答え"じゃない。 そこを忘れないこずだよ」

    今日のワンポむントは「生成AIは確率の高い続きを1語ず぀遞んでいるだけ。だから圢は完璧でも䞭身は間違える」だワン


    おわりに

    次回は LLM倧芏暡蚀語モデルの基瀎。

    今日たで分解しおきた仕組みを、「LLMずは䜕者か」ずいう䞀枚にたずめ盎したす。

    ハゞメ「ようやく名前の話に戻るんですね」

    シバ先生「そう。䞭身を芋おから名前を芚えるほうが、ぜんぜん忘れないよ」

    この蚘事が圹に立ったら「スキ」で教えおください。

    「柎犬でもわかる」シリヌズは、生成AIパスポヌトの党5章を1節ず぀噛み砕いおいきたす。

    フォロヌしおおくず、次の蚘事が迷子になりたせん。

     
     
    難しいAIを、䞖界䞀わかりやすく」をテヌマに、AIの最新ニュヌスや資栌察策AZ-900/G怜定等を柎犬のワンOneポむント図解で解説したす🐟 AI超初心者・非゚ンゞニアの方を党力応揎孊び盎しや詊隓察策にぜひ掻甚しおください🐕

    あなたぞのおすすめ