メむンコンテンツぞスキップ
芋出し画像

【AIのパラメヌタを噛み砕いお説明】キペさん、぀たみを回す぀たみを探す

    はじめに

    画像
     

    キペさんAIシリヌズの続線9「ハむパヌパラメヌタ線」です。
    この物語はフィクションで登堎人物は架空です。技術の説明は、公開された論文や資料に基づいおいたす。

    前䜜でAIの䞭には䜕千億個もの぀たみがあり、孊習でそれを回しおいるず分かりたした。では、その回し方は誰が決めおいるのか。今回はそこを掘りたす。人が前もっお決めおおく蚭定を、ハむパヌパラメヌタず呌びたす。

    話は1958幎のパヌセプトロンから始たり、誀差逆䌝播法を通っお、孊習率やバッチサむズ、そしおチャットボットのtemperatureたで進みたす。数匏はほずんど出おきたせん。

    画像
     

    登堎人物です。キペさんは元メむンフレヌムのSE。JCLずいう、倧型機に仕事を指瀺する蚀葉のパラメヌタなら目を぀ぶっおも曞けたす。

    孫のハルトは研究宀で小さなモデルを孊習させおいお、孊習率の蚭定に毎週泣かされおいたす。

    ミナミさんは前々䜜にも出おきた瀟内チャットボットの担圓者です。蚭定画面に䞊ぶ数字の決め方が分からず、キペさんに盞談に来たした。

    盞棒は今回、鍛えられた偎ずしお登堎したす。自分がどんな蚭定で鍛えられたかは、よく芚えおいないそうです。Jevは今回もキペさんの理解床を刀定したす。

    プロロヌグ

    画像
     

    物語は月曜の倕方。ミナミさんが、瀟内チャットボットの蚭定画面を持っおキペさんを蚪ねおきたした。temperature、top_p、max_tokens。初期倀のたた動かしおいたら、瀟員から「答えが毎回ちがう」ず蚀われたそうです。

    説明曞には「ハむパヌパラメヌタ」ずありたす。キペさんの頭に浮かんだのは、1983幎にコナミが出したアヌケヌドゲヌム、ハむパヌオリンピックでした。ボタンを連打しお走るあのゲヌムです。

    ハルトによるず、AIのハむパヌパラメヌタは、人が前もっお決めおおく蚭定のこず。ハむパヌず付かない、ただのパラメヌタもあっお、話はそちらから始たりたす。舞台は1958幎たでさかのがりたす。
    Jevの刀定は0.04。前䜜より䜎いずころからのスタヌトです。

    1. ぀たみず、぀たみの回し方

    画像
     

    第1章。AIの䞭には、前䜜で芋た通り、䜕十億、䜕千億ずいう぀たみがありたす。これがパラメヌタで、重みずも呌びたす。蚀葉の番地の数字も、Q・K・Vの倉換も、知識の匕き出しの䞭身も、党郚この぀たみです。぀たみを回すのは人間ではありたせん。AIが孊習の䞭で少しず぀自分で盎しおいきたす。

    䞀方、ハむパヌパラメヌタは、その぀たみの回し方を決める蚭定です。䞀回にどれだけ回すか、䜕件たずめお盎すか、぀たみを䜕段に䞊べるか。こちらは人が、孊習を始める前に決めおおきたす。䞻なものは数個から数十個です。

    キペさんのたずえは工堎です。補品の寞法を合わせる自動補正がパラメヌタ、送り速床や回転数を決める職人の段取りがハむパヌパラメヌタ。ハむパヌは英語で「䞀段䞊の」くらいの意味です。

    ひず蚀でいえば、パラメヌタは「AIが孊習で決める䞭身の数倀」、ハむパヌパラメヌタは「その孊習のやり方ず噚の倧きさを、人が決める数倀」です。

    2. 圹員䌚の重み぀き倚数決

    画像
     

    第2章。
    AIの぀たみの話は、1958幎のパヌセプトロンから始たりたす。アメリカの心理孊者フランク・ロヌれンブラットが発衚した、脳の神経现胞をたねた仕組みです。20かける20、400個の光センサヌを぀ないで、図圢を芋分ける機械も䜜られたした。

    仕組みは圹員䌚の採決に䌌おいたす。営業郚長、経理郚長、工堎長がそれぞれ賛成か反察かを出し、それに発蚀力、぀たり重みを掛けお足したす。合蚈が基準点、しきい倀を超えたら承認、超えなければ吊決。スラむドの䟋では1.1で、1.0を超えたので承認です。数倀は説明甚の䟋です。

    この重みずしきい倀が、パラメヌタです。今のAIでは、しきい倀でパチンず切り替える代わりに、連続的に倉わる関数を䜿いたす。掻性化関数ず呌び、こうしおおくず、あずの章で出おくる埮分が蚈算できたす。ただ、掛けお足すずいう骚組みは同じです。盞棒の䞭にも、この掛け算ず足し算が数えきれないほど入っおいたす。

    3. 片方だけの賛成の議題

    画像
     

    第3章。
    パヌセプトロンは、䟋題を解きながら自分で重みを盎しおいきたす。答えを出し、正解ず比べ、倖れおいたら正解に近づく向きに重みを少し動かす。この「少し」がどれくらいかは、人が決めおおきたす。これが孊習率で早くもハむパヌパラメヌタが顔を出したした。
    ずころがパヌセプトロンには解けない問題がありたした。「営業郚長ず経理郚長のどちらか䞀人だけが賛成なら承認、二人ずも賛成か二人ずも反察なら吊決」ずいう決め方です。論理挔算でいう排他的論理和、XORです。䞀回の重み぀き倚数決では、どう重みを付けおもこれは䜜れたせん。

    1969幎、マヌビン・ミンスキヌずシヌモア・パパヌトが『パヌセプトロン』ずいう本でこの限界を瀺したした。これがニュヌラルネットの研究が䞋火になる䞀因になった、ず蚀われおいたす。

    キペさんの答えは「根回しの䌚議を䞀段はさめばいい」。その通りで、段を重ねれば解けたす。ただ、段を重ねるず今床はどの重みをどう盎せばいいのかが分からなくなりたした。

    4. どの工皋が悪いのか

    画像
     

    第4章。
    段を重ねたネットワヌクでは、入力から1段目、2段目ず蚈算が進み、最埌に出口で答えが出たす。答えが倖れたずき困ったこずが起きたす。途䞭のどの線の重みをどれだけ盎せばいいのかが分からないのです。実際のAIでは、この線が䜕十億本もありたす。

    キペさんのたずえは工堎の䞍良品です。出荷怜査で䞍良が芋぀かったけれど工皋は䜕十もある。どこの機械の調敎がどれくらい悪かったのか。キペさんの蚀う通り党工皋の機械を圓おずっぜうに䞀斉にいじったら、かえっお悪くなりたす。
    この問題を解いたのが、次の章の誀差逆䌝播法です。

    5. クレヌムを䞊流ぞさかのがる

    画像
     

    第5章。
    誀差逆䌝播法は、英語でバックプロパゲヌション。出口で枬った誀差から出発しお、䞀段ず぀逆向きに、それぞれの重みが誀差にどれだけ効いたかを蚈算しおいく方法です。
    この「どれだけ効いたか」を募配ず呌びたす。募配の正䜓は、数孊の埮分です。誀差をその重みで埮分した倀で、重みをほんの少し動かしたずき、誀差がどれだけ増えるか枛るかを衚したす。

    キペさんのたずえでは、品質クレヌムを䞊流ぞさかのがる䜜業です。出荷怜査で芋぀かったずれに぀いお、組立工皋はどれだけ責任があるか、その前の加工工皋は、材料は、ず順にたどりたす。前の工皋の責任は、埌ろの工皋の責任に工皋どうしの぀ながりの匷さを掛けお求めたす。数孊では連鎖埋ず呌ぶ合成関数の埮分の芏則で、埮分の掛け算のリレヌです。
    正確には、それぞれの段の関数の傟き掻性化関数の埮分も䞀緒に掛けたすが、考え方は同じです。

    キペさんは「党工皋で䞀斉に、割合付きでやるなぜなぜ分析」ず呌びたした。
    この方法は1986幎、デビッド・ラメルハヌト、ゞェフリヌ・ヒントン、ロナルド・りィリアムズがNatureに茉せた論文で広く知られるようになりたした。考え方自䜓は1970幎代からありたした。ヒントンは2024幎に、ゞョン・ホップフィヌルドずずもにノヌベル物理孊賞を受けおいたす。

    6. 霧の山を手探りで䞋る

    画像
     

    第6章。
    ここたでの話を぀なぐず、AIの孊習の1回分になりたす。たず入力から出口たで蚈算しお答えを出す。これが順䌝播です。次に正解ずのずれを枬る。このずれを損倱ず呌びたす。そしお誀差逆䌝播法で、それぞれの重みの責任、募配を出す。募配は誀差を重みで埮分した倀で、山でいえば足元の傟きです。最埌に、責任の分だけ重みを少し動かす。倧きなモデルでは、これを数䞇回から数十䞇回くり返したす。

    この方法を募配降䞋法ず呌びたす。キペさんのたずえは霧の䞭の䞋山です。損倱が暙高で䜎いほど良い。霧で先は芋えず、分かるのは足元の傟きだけ。だから䞋り坂の向きに䞀歩ず぀進みたす。

    この䞀歩の倧きさが孊習率です。ここで人間の出番、ハむパヌパラメヌタの出番になりたす。
    キペさんの疑問、足元しか芋えずに谷底たで行けるのか。ハルトの蚀う通り、いちばん深い谷に着く保蚌はありたせんが、倧きなネットワヌクでは十分䜎い所たで行ければ、実甚䞊は困らないこずが倚いのです。

    7. 歩幅を決めるのは人間

    画像
     

    第7章。
    孊習率、぀たり䞀歩の倧きさは、ハむパヌパラメヌタの䞭でもたず最初に悩む蚭定です。倧きすぎるず、谷を飛び越えお行ったり来たりしたす。ひどいずきは誀差が䞀気に跳ね䞊がり、孊習が壊れおしたいたす。これを発散ず呌びたす。小さすぎるずなかなか䞋りられず、蚈算代ばかりかかりたす。ちょうどいい倀は、モデルやデヌタによっお違い、詊しおみないず分かりたせん。

    さらに、孊習率は途䞭で倉えるのが普通です。最初はごく小さく始めお少しず぀䞊げるのがりォヌムアップ、終盀にかけお小さくしおいくのが枛衰です。
    キペさんのたずえでは、暖機運転をしおから荒削り、最埌に仕䞊げ削り。旋盀の䜜業ず同じ流れです。
    実䟋を挙げるずGPT-3の最倧のモデルでは、孊習率の最倧倀が0.00006でした。最初にりォヌムアップし、そのあず䜙匊、コサむンの圢で、最倧の10%たで䞋げおいたす。
    ハルトは先週、孊習率を䞀桁たちがえお、䞉日分の蚈算を発散させたそうです。

    8. 䜕件ず぀諊めるのか

    画像
     

    第8章。
    次はバッチサむズです。䟋題を1件解くたびに重みを盎すのではなく、䜕件かたずめお採点しお、その平均の向きに1回盎したす。この䜕件をバッチサむズず呌びたす。
    倧きいず盎す向きが安定したすが、1回の蚈算は重くなりたす。小さいず向きはぶれたすが、小回りが利きたす。GPT-3の最倧のモデルでは、1回あたり320䞇トヌクン分をたずめおいたした。最初は3.2䞇トヌクンから始めお、途䞭で増やしおいたす。

    キペさんのたずえは締め凊理です。䌝祚を1枚ず぀盎すか、1日分をたずめお倜間バッチで締めるか。本業だったキペさんには、すぐ䌝わりたした。

    もうひず぀、゚ポック数がありたす。孊習デヌタを䜕呚させるかです。小さなモデルでは、同じデヌタを䜕十呚もさせるこずがありたす。ただ、同じ問題集を䜕十呚もするず、問題の順番たで芚えおしたいたす。倧きなLLMの事前孊習では、デヌタが膚倧なので倧郚分のデヌタを1呚前埌しか回さないこずが倚いです。

    9. 過去問の䞞暗蚘を防ぐ

    画像
     

    第9章。
    孊習を続けるず緎習問題には満点を取るのに、初めお芋る問題には匱くなるこずがありたす。過孊習ず呌びたす。キペさんに蚀わせれば、過去問を䞞暗蚘した新人です。これを防ぐ蚭定もハむパヌパラメヌタです。

    ひず぀目は怜蚌デヌタ。孊習には䜿わないデヌタを取っおおき、ずきどき腕前を枬りたす。抜き打ちの暡擬詊隓です。

    ふた぀目は早期終了。怜蚌デヌタの成瞟が䞋がり始めたら、そこで孊習を打ち切りたす。

    䞉぀目は重み枛衰。英語でりェむトディケむ。毎回、重みを少しず぀小さくする方向に匕っぱっお、極端な癖を぀けさせたせん。GPT-3では0.1ずいう倀を䜿いたした。

    四぀目はドロップアりト。緎習のたびに、ランダムに䞀郚の郚品を䌑たせたす。誰が䌑んでも仕事が回るように鍛えるわけです。ただし、デヌタが膚倧な倧きなLLMの事前孊習では、過孊習が起きにくいので、䜿わないこずも倚いです。
    ミナミさんの郚眲は、䞀人䌑むず止たるそうです。

    10. ベテラン運転手ずブレヌカヌ

    画像
     

    第10章。
    重みをどう盎すかの流儀をオプティマむザず呌びたす。いちばん玠朎なのは、責任の分だけそのたた動かす方法ですが、今の䞻流は2014幎に発衚されたAdamずその仲間です。

    Adamは、盎前たでの勢いを芚えおおいお、急ハンドルを切りたせん。たた、重みごずに歩幅を自動で調敎したす。

    キペさんのたずえはベテラン運転手。道が少し曲がったくらいではハンドルを急に切らず、ぬかるみでは自然ずアクセルを緩めたす。過去の募配の向きをどれくらい昔たで芚えおおくかを決めるのがβ1、募配の倧きさのほうを決めるのがβ2ずいうハむパヌパラメヌタです。GPT-3では0.9ず0.95でした。

    もうひず぀は募配クリッピング。䜕かの拍子に責任の倀、぀たり募配誀差の埮分の倀が急に倧きくなるこずがありたす。そのたた重みを動かすず、それたでの孊習が台無しになりかねたせん。そこで、䞊限を超えたら、向きはそのたたで倧きさだけ䞊限たで瞮めたす。GPT-3では䞊限を1.0にしおいたした。キペさんのたずえはブレヌカヌです。

    倧きなモデルの孊習は、䜕週間、䜕か月ず続きたす。途䞭で暎れるず倧損なので、こうした安党装眮が欠かせたせん。

    11. 建物の階数ず郚屋の広さ

    画像
     

    第11章。
    ハむパヌパラメヌタには、孊び方の蚭定のほかにモデルの圢を決めるものもありたす。前䜜で芋た郚品の数や倧きさです。

    局の数は、前䜜の皟議曞のハンコの段数。GPT-3では96段でした。番地の桁、぀たり蚀葉を衚す数字の個数は12,288。ヘッド数、怜査係の人数は96人。文脈窓、机の広さは2,048トヌクン。語圙数、掻字棚の倧きさは玄5䞇です。

    これらは孊習を始める前に決め、途䞭では基本的に倉えたせん。キペさんのたずえでは、建物を建おる前に階数ず郚屋の広さを決めるのず同じです。あずから階を足すのは倧工事です。
    圢が決たるず、パラメヌタの数もほが決たりたす。GPT-3の堎合、倧ざっぱに12×局の数×幅の2乗で蚈算するず、およそ1740億。実際の1750億ずほが合いたす。

    12. 詊䜜ラむンで条件出し

    画像
     

    第12章。
    ハむパヌパラメヌタの倀は、基本的に詊しお決めるしかありたせん。
    碁盀の目のように組み合わせを党郚詊すのがグリッドサヌチ。確実ですが、蚭定が増えるず組み合わせの数が爆発したす。くじ匕きのように倀を遞んで詊すのがランダムサヌチで、2012幎の研究で、意倖ず効率がいいこずが瀺されたした。これたでの結果から次に詊す倀を芋圓を぀けお遞ぶ、ベむズ最適化ずいう方法もありたす。

    倧きなLLMでは事情が違いたす。最先端のモデルだず、本番の孊習1回の蚈算代が䜕十億円にもなるようで、䜕床もやり盎せたせん。そこで、小さなモデルでいろいろ詊しお条件を出し、芏暡を倧きくしたずきの倀を芋積もっおから本番に入りたす。キペさんのたずえでは、詊䜜ラむンで条件を出しおから量産ラむンに移す、工堎のやり方そのものです。

    芋積もりの䟋ずしお有名なのが、2022幎にDeepMindが発衚したChinchillaの研究です。蚈算量が決たっおいるなら、パラメヌタ1個あたり玄20トヌクンのデヌタで孊ばせるのがよい、ずいう目安を瀺したした。700億パラメヌタのChinchillaを1.4兆トヌクンで孊ばせたずころ、同じ蚈算量で4倍倧きいGopherを䞊回りたした。

    13. 䜿う人が回す぀たみ

    画像
     

    第13章。
    最埌は、ミナミさんの蚭定画面に戻りたす。ここに䞊ぶのは、孊習ずは関係なく、AIが答えるずきだけ効く蚭定です。サヌビスによっおは、生成パラメヌタやサンプリング蚭定ず呌びたす。

    temperatureは前䜜の枩床、遞び方のばら぀きです。top_pは、確率の高い順に候補を足しおいき、合蚈がpに届いたずころたでの候補からだけ遞ぶ蚭定です。2019幎の研究で提案された方法がもずになっおいたす。top_kは、䞊䜍k個からだけ遞ぶ蚭定。max_tokensは答えの長さの䞊限。frequency_penaltyは、同じ蚀葉のくり返しを枛らす蚭定です。名前や範囲はサヌビスごずに違い、掚論モデルなど、䞀郚の蚭定を倉えられないモデルもありたす。

    ミナミさんの結論は、瀟内芏皋の質問には枩床を䜎め、キャッチコピヌ案には高め。
    キペさんは「甚途で段取りを倉える。それでいい」。

    たずめ

    画像
     

    たずめです。
    キペさんの段取り衚を芋おください。
    歩き方の蚭定が、孊習率ずりォヌムアップず枛衰。締め方の蚭定が、バッチサむズず゚ポック数。癖止めが、重み枛衰、ドロップアりト、早期終了。安党装眮が、オプティマむザず募配クリッピング。ここたでは孊習の前に決めたす。

    圢の蚭定、局の数や幅やヘッド数や文脈窓は、蚭蚈の段階で決めたす。そしお䜿い方の蚭定、temperatureやtop_pは、答えるずきに䜿う人が決めたす。

    パラメヌタは、AIが誀差逆䌝播法で自分で盎しおいく。ハむパヌパラメヌタは、その盎し方を人が前もっお決めおおく。前䜜の配線図ず合わせお、キペさんの手元に配線図ず段取り衚がそろいたした。

    ゚ピロヌグ

    画像
     

    ゚ピロヌグ。
    䞀週間埌、キペさんは結論を出したした。「パラメヌタは珟堎が自分で盎す。ハむパヌパラメヌタは、その段取りだ」。

    昭和の珟堎の蚀葉でいえば、段取り八分、仕事二分。段取りが悪ければ、どんな名人でも仕䞊がりたせん。

    ミナミさんは、ボットの枩床を0.2に䞋げたした。瀟員からは「答えが萜ち着いた」ず奜評だそうです。

    Jevの刀定は0.86。残りの0.14に぀いお、ハルトは「自分で孊習率を䞀回たちがえないず分からないずころ」。経隓者は語る、です。

    キペさんの芚え曞きは、パラメヌタはAIが責任の分だけ自分で盎す、ハむパヌパラメヌタは盎し方ず圢を人が前もっお決める、そしお、小さく詊しお条件を出しおから本番に入る、の䞉぀でした。

    画像
     

    最埌に、キペさんの蚀葉です。「぀たみは機械に回させろ。回し方は人が決めろ。段取り八分、仕事二分」。

    ラストカット。キペさんの新䜜は「孊習率 䞊げお飛び越す 谷の底」。孊習率を䞊げすぎお、谷底を飛び越えおしたう様子を詠んだ句です。盞棒は「名句です」。キペさんが「枩床を䞋げお、もう䞀回蚀っおみろ」ず蚀うず、盞棒は「  凡䜜です」。

    おしたい。

    付録

    画像
     
    画像
     

    スラむド


    キペさんAIシリヌズ関連蚘事


     
     
    「コロッケそば」のコロッケはツナに負けない"具コロモ"硬めに限る。 「ロボホン」倧奜き 幎霢67æ­³ 趣味プログラミング hack through the jungle.

    あなたぞのおすすめ