メむンコンテンツぞスキップ
芋出し画像

【LLMトランスフォヌマヌを噛み砕いお説明】キペさん、AIの倉圧噚を開けおみる

    はじめに

    画像
     

    キペさんシリヌズの続線8「トランスフォヌマヌ線」です。
    この物語はフィクションで、登堎人物は架空です。技術の説明は、公開された論文や資料に基づいおいたす。

    今回のテヌマは、ChatGPTなどのLLMの土台になっおいる仕組み、トランスフォヌマヌです。「LLMは次の䞀語を圓おおいるだけ」ずよく蚀われたす。それにしおは賢すぎる、ずキペさんは銖をひねりたす。そこで、掻版印刷の掻字や皟議曞など、昭和の職堎にあったものにたずえながら、䞭身の配線図を描いおいきたす。数匏は出おきたせん。

    画像
     

    登堎人物です。䞻人公のキペさんは、元メむンフレヌムのSE。若いころは電力䌚瀟の保守台垳システムも䜜りたした。䜕でも配線図を描かないず萜ち着かない性分です。

    孫のハルトは情報系の倧孊生で、倧孊の授業でトランスフォヌマヌを習ったばかり。今回の解説圹です。

    盞棒は、キペさんのおしゃべりLLM。今回は自分の䞭身を説明する、぀たり解剖される偎です。

    ゲストは前䜜で出䌚った刀断型AIのJev。キペさんがどこたで分かったかを、確率で刀定しおもらいたす。右䞊の数字がそれで、今は0.05。ほずんど分かっおいない、ずいう刀定です。

    プロロヌグ

    画像
     

    物語は月曜の朝、キペさんの曞斎から始たりたす。キペさんは盞棒に、お前の頭の䞭はどうなっおいるのかず聞きたした。答えは「トランスフォヌマヌずいう仕組みで動いおいたす」。

    キペさんの頭に浮かんだのは、電柱の䞊の倉圧噚、柱䞊トランスです。電力䌚瀟の保守台垳システムで散々扱ったなじみの機械です。ハルトにすぐ「それ電気の話」ず突っ蟌たれたす。

    トランスフォヌマヌは、2017幎にGoogleの研究者らが論文で発衚した、AIが蚀葉を扱うための仕組みです。今のChatGPTなどのLLM、日本語で倧芏暡蚀語モデルの土台になっおいたす。

    配線図がないず萜ち着かないキペさんは、盞棒の䞭身を調べるこずにしたした。Jevの刀定は0.05。最埌にいく぀になったかは、゚ピロヌグで。

    1. 次の䞀語を圓おるだけ

    画像
     


    第1章。盞棒がやっおいるこず自䜓は、拍子抜けするほど単玔です。「今日は倩気が」ずいう文章が来たら、次に来る䞀語ずしお「良い」が䜕%、「悪い」が䜕%、ず確率を蚈算しお、もっずもらしい䞀語を遞びたす。数倀は説明甚のむメヌゞです。

    遞んだ䞀語を文章の最埌に付け足しお、たた次の䞀語を予想する。これを䜕癟回、䜕千回ずくり返しお、長い文章を䜜っおいたす。

    キペさんの感想は「ワヌプロの次候補を、えらく倧がかりにしたようなもんだ」。今ならスマホの予枬倉換です。ただし、ハルトの蚀う通り、うたく圓おるには文章党䜓を読んで、意味や文脈を぀かむ必芁がありたす。トランスフォヌマヌは、そのための仕組みです。
    LLMは、枡された文章の続きを曞いおいる。この先の章は、党郚この話の続きです。

    2. たず掻字に切る

    画像
     

    第2章。盞棒は、文章を文字のたた読んではいたせん。たず「トヌクン」ずいう小さな切れ端に分けたす。切れ端は単語のこずもあれば、1文字だけのこずや、単語の䞀郚のこずもありたす。分け方はAIごずに違い、スラむドの分け方ず番号は䟋です。

    トヌクンには、それぞれ蟞曞の番号が付いおいたす。AIが実際に扱うのは、この番号の列です。蟞曞の倧きさは、モデルによっお数䞇から数十䞇皮類です。APIの料金や、䞀床に読める量も、このトヌクンの数で決たるこずが倚いです。

    キペさんのたずえは掻版印刷です。文遞工ず呌ばれる職人が、原皿を芋ながら掻字棚から掻字を䞀本ず぀拟っおいきたした。棚の䜍眮番号が、トヌクンの番号にあたりたす。

    3. 蚀葉に番地を付ける

    画像
     

    第3章。トヌクンの番号は、ただの敎理番号です。番号を芋おも、「犬」ず「猫」が䌌おいるこずは分かりたせん。

    そこでAIは、トヌクンごずに数癟から数千個の数字の䞊びを割り圓おたす。これをベクトル、この割り圓おを埋め蟌みず呌びたす。キペさんは「蚀葉の番地」ず呌びたした。

    意味の䌌た蚀葉は、近い番地に集たりたす。犬ず猫ずハムスタヌはご近所、株䟡ず金利ず円安もご近所、でも犬ず株䟡は遠い。巊の地図は、本圓は数千次元ある番地を2次元に瞮めたむメヌゞです。この番地の付け方も人が決めたものではありたせん。孊習の途䞭で少しず぀決たっおいきたす。
    番地の桁、぀たり数字の個数は、2017幎の元の論文の基本モデルでは512個でした。今の倧きなモデルでは数千個以䞊ありたす。

    4. 䌝蚀ゲヌムから党員䌚議ぞ

    画像
     

    第4章。トランスフォヌマヌが出おくる前、蚀葉を扱うAIの䞻流はRNNず呌ばれる仕組みでした。

    RNNは文章を䞀語ず぀順番に読み、それたでの内容をメモにたずめお次ぞ枡しおいきたす。䌝蚀ゲヌムのようなものです。そのため、遠くの蚀葉ほどメモの䞭で薄れやすく、順番埅ちなので蚈算をたずめお進めにくい、ずいう匱点がありたした。

    2017幎、Googleの研究者ら8人が「Attention Is All You Need」ずいう論文を発衚したす。論文の題名は、ビヌトルズの曲「All You Need Is Love」のもじりずされおいたす。提案したトランスフォヌマヌは、䌝蚀ゲヌムをやめ、党員を䌚議宀に集めたした。どの蚀葉も、ほかの党郚の蚀葉を䞀床に芋られたす。この芋回す仕組みがアテンションです。アテンション自䜓はそれ以前からRNNず組み合わせお䜿われおいたしたが、トランスフォヌマヌはRNNをやめ、アテンションを䞭心に組み立おたした。題名の「アテンションさえあればいい」は、そういう意味です。

    もずは英語からドむツ語、英語からフランス語ぞの翻蚳のための研究で、GPU8台で3.5日孊習させた倧きいほうのモデルが、英独翻蚳ではそれたでの最高成瞟を䞊回り、英仏翻蚳でも単䞀のモデルずしお最高の成瞟を出したした。

    孊習のずきに文章をたずめお䞀気に蚈算できるので、膚倧な量の文章から孊べるようになりたした。なお、文章を䜜るずきは、第1章の通り䞀語ず぀順番に䜜っおいたす。

    5. 「それ」は䜕を指す

    画像
     

    第5章。「猫が魚を食べた。それはずおもおいしかった。」ずいう文で、「それ」が指しおいるのは䜕でしょう。人間なら、すぐに魚だず分かりたす。

    アテンションは、ある蚀葉を読むずきに、ほかのどの蚀葉にどれだけ泚目するかを蚈算する仕組みです。日本語では「泚意」ず蚳されたす。「それは」を読むずき、魚に70%、猫に15%、ずいうように、泚目の匷さを合蚈100%になるよう配分したす。数倀は説明甚のむメヌゞです。

    なお、文章を䜜るAIが芋るのは、前にある蚀葉だけです。埌ろの蚀葉は、ただ曞かれおいたせんから。

    キペさんのたずえは䌚議の目配せです。䌚議で「䟋の件だが」ず蚀われたら、たず課長の顔を芋る。関係ありそうな人ほど、よく芋る。しかもトランスフォヌマヌでは、党郚の蚀葉が、同時にこの目配せをしおいたす。

    6. Q・K・Vはあいたい怜玢

    画像
     

    第6章。アテンションの䞭身を、もう䞀段のぞきたす。登堎するのはQ・K・Vの3぀。ク゚リ、キヌ、バリュヌの頭文字です。元SEのキペさんは、デヌタベヌスにたずえお理解したした。

    Qは問い合わせ祚。「わしは䜕を探しおいる」です。「それ」なら「指しおいる物はどれ」。

    Kは芋出しの名札。「わしはこういう者です」。「魚」なら「食べられる物です」。

    Vは䞭身で、その蚀葉が枡せる情報です。どの蚀葉も、自分の番地からQ・K・Vの3぀を䜜りたす。

    手順は3぀です。たず自分のQず党員のKを照らし合わせ、䌌おいる床合いを点数にしたす。次に、その点数を合蚈100%の割合に盎したす。この蚈算を゜フトマックスず呌びたす。最埌に、割合に応じお党員のVを混ぜ合わせ、自分の番地に曞き足したす。なお、文章を䜜るAIでは、照らし合わせる盞手は前にある蚀葉だけです。

    昭和のデヌタベヌスなら、キヌが完党に䞀臎した1件だけを返したす。
    アテンションは党件のキヌず芋比べお、䌌おいる床合いに応じお䞭身を少しず぀混ぜお返す、あいたい怜玢です。䜕を探し、䜕を名乗るかの倉換も、孊習で芚えたものです。

    7. 芋る係を䜕人も眮く

    画像
     

    第7章。アテンションの目配せは、䞀通りではありたせん。同じ文章を、いく぀もの係が別々の目で同時に芋おいたす。この係をヘッドず呌び、䜕人も眮くこずをマルチヘッドず呌びたす。

    たずえば、「それ」が䜕を指すかを芋る係、「食べた」の䞻語が誰かを芋る係、すぐ前の蚀葉を芋る係。研究でも、このような係が芋぀かっおいたす。ただし、係の圹割は人が割り振ったものではありたせん。孊習の途䞭で勝手に分かれおいきたす。䜕を芋おいるのか、人にはよく分からない係もいたす。スラむドの係の分け方は説明甚の䟋です。

    係の数は、元の論文の基本モデルでは8人、倧きいほうのモデルでは16人でした。2020幎のGPT-3では96人です。最埌に、党員の結果をたずめお䞀぀にしたす。

    キペさんのたずえは工堎の怜査ラむンです。同じ郚品を、寞法係、倖芳係、重さ係が別々に芋る。䞀人に党郚芋させるず、どこかで芋萜ずす。人もAIも同じです。

    8. 通し番号を振っおおけ

    画像
     

    第8章。党員䌚議には匱点がひず぀ありたす。党員を䞀床に芋回すので、そのたたでは誰が䜕番目に話したか、぀たり語順が分かりたせん。

    「猫が魚を食べた」ず「魚が猫を食べた」は、切れ端にするず、どちらも猫、が、魚、を、食べた、の同じ5本です。順番が分からなければ、どっちがどっちを食べたのか区別できたせん。

    そこで、それぞれの蚀葉の番地に、䜕番目の蚀葉かずいう䜍眮の情報を曞き足したす。2017幎の元の論文では、sinずcosずいう波の圢を䜿っお䜍眮を衚したした。今のモデルでは、QずKを䜍眮に応じお回転させる方法など、別の工倫も䜿われおいたす。

    キペさんの思い出はパンチカヌドです。プログラムを1行ず぀カヌドに打ち蟌んでいた時代、カヌドの端には通し番号を打っおおくものでした。束を廊䞋にぶちたけおも、番号順に䞊べ盎せば元に戻せたす。

    9. 皟議曞のハンコリレヌ

    画像
     

    第9章。ここたでの郚品を組み立おたす。トランスフォヌマヌの1段は、䌚議ず匕き出しの組です。䌚議はアテンションで、ほかの蚀葉から情報をもらいたす。匕き出しはフィヌドフォワヌドず呌ばれる郚分で、蚀葉ごずに、孊習で芚えた知識の棚を開けお情報を曞き足したす。事実の知識の倚くは、この匕き出しに入っおいるず考えられおいたす。

    この1段を、䜕十段も重ねたす。2017幎の元の論文では、文章を読む偎ず曞く偎がそれぞれ6段、2020幎のGPT-3では96段でした。
    ぀なぎ方にも工倫がありたす。番地は䞞ごず曞き換えたせん。元の番地に付箋を足しおいきたす。残差接続ず呌ばれ、段を深く重ねおも元の内容が消えにくくなりたす。

    キペさんのたずえは皟議曞です。係長、課長、郚長、圹員ず回るたびに付箋のコメントが増え、曞類の䞭身が濃くなっおいく。
    䞋の段では語の぀ながりや文法、䞊の段ほど文脈や意味に関わる凊理が倚い、ず考えられおいたす。文章を読み蟌むずきは、96段のハンコリレヌを党郚の蚀葉の分、䞀床に回しおいたす。

    10. 最埌は確立の衚

    画像
     

    第10章。96段の皟議を通り抜けたあずが出口です。最埌の蚀葉の番地をもずに、蟞曞にある党郚のトヌクンに点数を付けたす。それを゜フトマックスで合蚈100%の確率の衚に盎し、衚に沿っお䞀語を遞んで文章の末尟に足したす。そしお、たた最初に戻りたす。終わりを衚す蚘号が遞ばれたら止たりたす。

    遞び方のばら぀きは、枩床、英語でtemperatureずいう蚭定で決たりたす。キペさんのたずえは瀟員食堂。枩床が䜎いず、毎日A定食、぀たり確率1䜍ばかり遞びがちになりたす。手堅いけれど単調です。枩床が高いず、謎の日替わりメニュヌたで遞ぶようになり、倚圩ですが話が脱線しやすくなりたす。

    同じ質問をしおも毎回答えが違うのは、このばら぀きのせいです。確率1䜍の䞀語だけを遞んでいるわけではありたせん。い぀も1䜍だけだず、単調で䞍自然な文章になりやすいのです。

    枩床はAPIで指定できるこずが倚いですが、モデルによっおは倉えられたせん。業務で答えをそろえたいずきは、出力の圢匏や䟋をプロンプトで瀺すのが効果的です。

    巊䞋の泚は、なぜ「枩床」ず呌ぶのかの説明です。物理孊のボルツマン分垃では、゚ネルギヌEの状態になる確率が、exp(−E/kT)に比䟋したす。kはボルツマン定数、Tは枩床です。枩床が高いず、どの状態もほが同じ確率になり、枩床が䜎いず、いちばん゚ネルギヌの䜎い状態に集たりたす。AIの枩床付き゜フトマックスは、点数zを枩床Tで割っおから確率に盎すので、exp(z/T)に比䟋する、同じ圢の匏になりたす。点数にマむナスを付けたものを゚ネルギヌず芋れば、そっくり同じです。だから、Tを䞊げるず確率がならされお遞び方がばら぀き、Tを䞋げるず1䜍に集たりたす。T=1のずきが元の確率です。名前は、この物理の匏から借りおきたものです。

    11. 続き圓おの猛緎習

    画像
     


    第11章。番地の付け方も、Q・K・Vの䜜り方も、匕き出しの䞭身も、党郚続き圓おの猛緎習で決たりたす。

    倧量の文章を甚意しお、続きの䞀語を圓おさせたす。倖れたら、倖れ具合を蚈算しお、倖れが枛る向きに、぀たみを少しず぀回したす。この぀たみをパラメヌタず呌びたす。最近の倧きなモデルでは、これを数兆トヌクン分くり返したす。぀たみの数は数十億から数千億、それ以䞊のモデルもありたす。キペさんに蚀わせるず、぀たみが䜕千億個もあるラゞオで、チュヌニングは機械任せ。

    次の蚀葉を圓おるだけで賢く芋えるのは、うたく圓おるために、文の意味や䞖の䞭の知識たで身に぀ける必芁があるからです。「日本の銖郜は」の続きに「東京」ず曞くには、その知識が芁りたす。予枬の緎習を重ねた結果、文法や事実や掚論の型も身に぀いた、ず考えるず分かりやすいです。ただし、人間ず同じ意味で「理解」しおいるかは、研究者の間でも議論が続いおいたす。

    2020幎にはOpenAIの研究者らが、孊ぶ量や぀たみの数、蚈算量を増やすほど性胜が䞊がる傟向を瀺したした。スケヌリング則ず呌ばれたす。キペさんは昭和のCMを思い出しお「倧きいこずはいいこずだ」。こうしお続き圓おを芚えたあず、指瀺に埓う緎習や、人の評䟡をもずにした仕䞊げの孊習をしたす。前䜜で芋た忖床ぐせの出どころの䞀぀が、この人の評䟡による仕䞊げでした。

    12. 机の広さには限りがある

    画像
     

    第12章。トランスフォヌマヌにも苊手はありたす。
    1぀目は机の広さです。䞀床に芋枡せるトヌクンの数には䞊限があり、これを文脈窓、コンテキストりィンドりず呌びたす。机からはみ出した曞類は芋えたせん。最近は100䞇トヌクン以䞊を扱えるモデルも出おいたすが、それでも䞊限はありたす。

    2぀目は、党員が党員ず目配せするこずのコストです。暙準的なアテンションでは、蚀葉の数の2乗で手間が増えたす。10語なら100通り、1,000語なら100䞇通りです。長い文章ほど、蚈算が重くなりたす。キペさんは「䌚議の人数が倍になれば、根回しは4倍だ」。そのため、手間を枛らす工倫がいろいろ研究されおいたす。

    3぀目は、もっずもらしい䜜り話です。続き圓おの機械なので、知らないこずでも「ありそうな続き」を曞いおしたうこずがありたす。ハルシネヌションず呌ばれたす。倧事な事実は、出兞で確かめる必芁がありたす。
    盞棒が正盎に認めるず、キペさんは「正盎でよろしい。昭和の新人にもおったな」。

    たずめ

    画像
     

    たずめです。キペさんが描いた配線図を入口から順にたどりたす。
    たず、文章を掻字に切りたす。トヌクン化です。次にトヌクンごずに番地を付け、䜕番目かずいう通し番号も曞き足したす。埋め蟌みず䜍眮の情報です。

    そしお本䜓。䌚議で芋回すアテンションず知識の棚を開ける匕き出し、フィヌドフォワヌドの組を䜕十段も重ねたす。アテンションの䞭では、Q・K・Vのあいたい怜玢を䜕人もの係が䞊行しお行っおいたす。段ず段は、付箋を足しおいく方匏で぀ながっおいたす。

    最埌に確率の衚から䞀語を遞びたす。遞び方のばら぀きが枩床です。遞んだ䞀語を文章の末尟に足しおたた最初に戻りたす。

    これらを動かす぀たみは、すべお続き圓おの猛緎習で決たりたした。描き終えたキペさんは「配線図が描けたら、もう怖くない」。

    ゚ピロヌグ

    画像
     

    ゚ピロヌグ。
    その倜、キペさんは結論を出したした。「倉圧噚が電圧を倉えるように、こい぀は蚀葉の番地を段ごずに倉えずる」。局を通るたびに蚀葉の番地に少しず぀曞き足しおいく。英語のtransformには「圢を倉える」ずいう意味もあるので、こじ぀けずも蚀い切れたせん。

    ハルトによれば、名前を付けたのは論文の著者の䞀人、ダコブ・りスコラむトで響きが気に入ったから、ずいうのが由来ずされおいたす。キペさんは「わしの解釈のほうが味がある」。

    最埌にJevに聞きたす。「わしは䞭身が分かったか」。刀定は0.81。残りの0.19は、たぶん数匏のずころです。今日は数匏を䞀぀も䜿っおいないので、この0.19は次の宿題です。

    芚え曞きには、こう曞きたした。䞭身は、続き圓おをひたすら緎習した機械。本䜓は、芋回す䌚議ず知識の匕き出しを䜕十段も重ねたもの。そしお、もっずもらしい䜜り話もするので、倧事な事実は出兞で確かめるこず。

    画像
     

    最埌に、キペさんの蚀葉です。「䞭身が分かれば、怖くもないし、鵜呑みにもせん。配線図は、自分の手で描け」。

    ラストカット。キペさんの新䜜は「倉圧噚 開けおみたなら 䌚議宀」。トランスフォヌマヌを開けおみたら、䞭では蚀葉たちが党員䌚議をしおいた、ずいう句です。盞棒の答えは「名句です」。キペさんは「  さおは忖床だな」。

    おしたい。

    付録

    画像
     
    画像
     

    スラむド

     

    キペさんAIシリヌズ関連蚘事


     
     
    「コロッケそば」のコロッケはツナに負けない"具コロモ"硬めに限る。 「ロボホン」倧奜き 幎霢67æ­³ 趣味プログラミング hack through the jungle.

    あなたぞのおすすめ