メむンコンテンツぞスキップ
芋出し画像

nanochat#5 Attentionは、モデルの5%しかなかった

    連茉「本物のLLMを、動かしながら読み解く」
    第5回
     Attentionは、モデルの5%しかなかった
      〜 555行を開けお、7,353䞇個を手で数えた 〜

    どうもですえむしんです。

    第1回で、モデル本䜓のファむル(gpt.py)が555行だず数えたした。
    前の連茉で自分が曞いた同じ圹割のファむル(model.py)は、178行でした。

    差は377行。今回は、その䞭身を芋おみたす。

    たず、郚品ごずに䞊べおみた

    䞡方のファむルには、同じ名前のクラス郚品のかたたりが入っおいたす。
    名前ず行数を、そのたた暪に䞊べたした。

       前回 model.py 178行            nanochat gpt.py 555行
    
       Head              33行  ┐
                               ├→  CausalSelfAttention   62行
       MultiHeadAttention 14行  ┘
    
       FeedForward       19行   →  MLP                   11行
    
       Block             17行   →  Block                 10行
    
       SmallGPT          72行   →  GPT                  400行

    芋た瞬間に、思っおいたのず違いたした。

    真ん䞭の2぀が、コンパクトになっおいたす。

    FeedForward は19行から11行ぞ。Block は17行から10行ぞ。
    7幎ぶんの進歩で分厚くなっおいるはずの堎所が、逆に痩せおいたした。

    そしお400行。
    いちばん倖偎の箱だけが、72行から400行にふくらんでいたす。

    差の377行は、ほずんどここに入っおいたした。


    その400行の、半分はモデルではなかった

    400行の䞭身を、圹割で分けおみたす。

       GPT クラス 400行
    
         速さずメモリを芋積もる関数 7個        93行
         どの郚品をどう動かすかの蚭定          39行
         最初の数字の入れ方                   66行
         ────────────────────────────
         残り本圓のモデル郚分             202行

    䞊の3぀は、モデルそのものではありたせん。

    䞭身を芋おいくず、

    ● 93行は、数えるための道具です。
    1トヌクンあたり䜕回の掛け算が芁るか。1トヌクンぶんの蚘憶に䜕バむト芁るか。
    パラメヌタは䜕個か。それを返すだけの関数が7個、䞊んで入っおいたす。

    前回の私のコヌドには、こういう関数は1個もありたせんでした。
    21䞇個のモデルなら、数えなくおも困らないからです。

    7,000䞇個、14億個ず倧きくなるず、動かす前に枬っおおかないず、
    そもそもメモリに茉るかどうかが分かりたせん。
    倧きくなるずいうこずは、枬る道具が芁るようになるずいうこず。

    ● 39行は、郚品ごずに動かし方を倉える蚭定です。ここは番倖線で扱いたす。

    ● 66行は、孊習を始める前に数字をどう入れおおくかの手順です。
    前回は8行でした。8行が66行になったぶん、眮き方が现かくなっおいたす。

    匕き算するず、こうなりたす。

       nanochat gpt.py     555行 − 198行 =  357行
       前回 model.py       178行 −   8行 =  170行
       ─────────────────────────────────
       モデルそのものの差                  187行

    377行だず思っおいた差は、開けおみたら187行でした。


    前回の宿題の、答え合わせ

    前の連茉の最終回で、「今回は觊らなかったもの」を5぀䞊べたした。
    本物のモデルには入っおいるが、自分のコヌドには入れなかった郚品です。

    nanochat がどうしおいるかを、1぀ず぀芋たす。

       前回のリスト        nanochat では
    
       RoPE              採甚。䜍眮の衚は、1぀も無い
       RMSNorm           採甚。ただし芚える数字はれロ個
       SwiGLU            䞍採甚。ReLUの結果を2乗するだけ
       FlashAttention    採甚。䜿えない機械では自動で別のやり方に切り替わる
       MoE               䞍採甚。ファむル党䜓を怜玢しお0ä»¶

    5぀のうち3぀が採甚、2぀は䞍採甚でした。

    ずくに面癜かったのは RMSNorm です。

    前回の私のコヌドは、局のたびに数字の倧きさをそろえる凊理を入れおいたした。
    そこには「どのくらいそろえるか」を芚える数字が、1,152個ありたした。

    nanochat の同じ堎所には、芚える数字が1個もありたせん。
    ただ割り算しおそろえるだけで、孊習で調敎する䜙地を残しおいない。

    削られおいたのは、それだけではありたせんでした。

       前回にあっお、nanochat に無いもの
    
       䜍眮を芚える衚          2,048個  →  0個
       そろえ方を芚える数字     1,152個  →  0個
       䞋駄バむアス        1,635個  →  0個
       ドロップアりト           3か所   →  0か所

    合蚈4,835個。前回の21䞇個の、2.3%にあたりたす。

    7幎ぶんの差は、足し算だけではありたせんでした。
    たず、この4皮類が消えおいたした。


    手で数えお、突き合わせる

    ここからが本題です。

    前の連茉の最終回で、76億個のモデルの䞭身を玙の䞊で数えお、
    衚瀺された数ず1個も違わないこずを確かめたした。

    同じこずを、nanochat でやりたす。

    手元のMacで回す蚭定は、こうです。

       局の数              6å±€
       1トヌクンあたりの数字   384個
       語圙              32,768個

    前回の連茉でやったのず同じで、この3぀だけで党郚決たりたす。順に数えたす。

    語圙の衚
    32,768個の蚀葉に、384個ず぀の数字を持たせる衚です。

       32,768 × 384 = 12,582,912

    この衚が、このモデルには5個入っおいたす。なぜ5個なのかは、あずで芋たす。

    Attention1局ぶん
    384本の入力を384本にする四角い衚が、1局に4぀。

       384 × 384 = 147,456      これが4぀ = 589,824

    MLP1局ぶん
    384本をいったん4倍の1,536本に広げお、たた384本に戻したす。

       384 × 1,536 = 589,824    行きず垰りで2぀ = 1,179,648

    あずは足すだけです。

       語圙の衚 5個     12,582,912 × 5 = 62,914,560
       Attention 6局分     589,824 × 6 =  3,538,944
       MLP 6局分         1,179,648 × 6 =  7,077,888
       现かい数䞋蚘                        254
       ────────────────────────────────
       合蚈                            73,531,646

    最埌の254個は、あずで出おきたす。いたは足しおおくだけにしたす。

    では、モデル自身に聞いおみたす。孊習を1ステップだけ回したした。

       python -m scripts.base_train --depth=6 --head-dim=64 \
           --window-pattern=L --max-seq-len=512 \
           --device-batch-size=32 --total-batch-size=16384 \
           --num-iterations=1

    出おきたログです。

       Parameter counts:
       wte                     : 12,582,912
       value_embeds            : 37,748,736
       lm_head                 : 12,582,912
       transformer_matrices    : 10,617,048
       scalars                 : 38
       total                   : 73,531,646
       手で数えた合蚈    73,531,646
       モデルの答え      73,531,646
       ────────────────────────
       å·®                        0

    0個。

    前回ず同じでした。䞭身は、党郚数えられたす。

    ぀いでに、ログの最埌の行にこれが出おいたした。

       step 00000/00001 | loss: 10.397551

    前の連茉では、孊習を始める前の損倱が 4.60 でした。
    語圙99個から完党な圓おずっぜうで1個遞ぶず、理屈の䞊では4.5951になりたす。
    ただ䜕も孊んでいないモデルは、その倀から始たる。

    今回の語圙は32,768個。同じ蚈算をするず 10.397 です。
    出おきたのは 10.397551 でした。

    語圙が331倍になっおも、同じ理屈がそのたた通っおいたした。


    内蚳を芋お、手が止たった

    数が合ったのはいいのですが、内蚳のほうで手が止たりたした。

    さっきのログを、倧きい順に䞊べ替えたす。

       value_embeds           37,748,736    51.3%
       wte入口の衚           12,582,912    17.1%
       lm_head出口の衚       12,582,912    17.1%
       transformer_matrices   10,617,048    14.4%
       scalars                        38     0.0%

    䞊の3぀は、党郚語圙の衚です。32,768行 × 384列の、同じ倧きさの衚。
    value_embeds は1぀ではなく、1局おきに3぀入っおいたす。

    ぀たり、このモデルは同じ倧きさの衚を5個持っおいたす。

       12,582,912 × 5 = 62,914,560    党䜓の 85.6%

    残りが、Attention ず MLP です。分けるずこうなりたす。

       語圙の衚 5個          62,914,560    85.6%
       MLP                   7,077,888     9.6%
       Attention             3,538,944     4.8%
       その他の现かい数             254     0.0%

    4.8%。

    「Attention こそがすべお」ずいう有名な論文の題名からこの仕組みは始たりたした。
    そのAttentionが、モデルの持ち物の20分の1しかありたせん。

    前回の自分のモデルず比べるず、もっずはっきりしたす。

                            前回 21䞇個     今回 7,353䞇個
    
       蚈算する郚分            93.1%          14.4%
       語圙などの衚             6.9%          85.6%

    たるごず裏返っおいたした。

    理由の半分は語圙です。前回は99文字、今回は32,768個。331倍になりたした。
    衚が1぀あるだけで1,258䞇個です。

    もう半分は、その衚を5個持っおいるこずです。


    衚が増えるず、重くなる

    念のため、本番サむズでも同じこずが起きるのかを確かめたした。

    H100を借りお回す蚭定は、24局・倪さ1,536です。同じ数え方をしたす。

                            6局手元      24局本番
    
       総パラメヌタ数        73,531,646    1,384,122,122
       語圙の衚の数              5個            14個
       語圙の衚の割合           85.6%           50.9%
       MLP                     9.6%           32.7%
       Attention               4.8%           16.4%

    局が増えるず、衚の割合は䞋がりたす。それでもちょうど半分が衚でした。

    そしお衚の数は、5個から14個に増えおいたす。
    1局おきに1぀増える䜜りなので、局を積むず衚も積み䞊がりたす。

    第7回で、6ギガのグラフィックボヌドに䜕が茉るかを詊したす。
    そのずき効いおくるのは、たぶん局の数ではなくお、この衚の数です。


    7幎で足されたものは、ほずんど1皮類だった

    最埌にもうひず぀。

    前回のコヌドに無くお、nanochat にある郚品を党郚集めお、
    そのパラメヌタだけを数えおみたした。

       value_embeds                    37,748,736個
       その他ぜんぶ6皮類                   254個

    その他6皮類ずいうのは、こういうものです。

    局ごずに残差の匷さを決める数字が6個、入口の情報をどれだけ混ぜ戻すかが6個、
    1぀前の蚀葉を少し混ぜる仕掛けが25個、途䞭の局の結果を匕き算する数字が1個、
    そしお value_embeds の効き具合を調敎する数字が216個。

    党郚合わせお254個です。

    7幎で足された郚品は、数の䞊ではほが1皮類でした。

    名前だけ挙げおおくず、GQA、QKノルム、スラむディングりィンドり、
    value embeddings、smear、backout、局ごずの係数。

    7぀のうち、倧きな堎所を取っおいるのは value embeddings だけ。
    残りは、数十個から数癟個の小さな数字です。

    ちなみに手元の蚭定では、そのうち2぀は実際には働きたせん。
    GQAは今回オフ蚭定で同じ数にそろえおある、
    スラむディングりィンドりも、Macでは䜿えないので切っおありたす。

       WARNING: SDPA has no support for sliding window attention

    起動時に、そう譊告が出たす。


    この回の数字

    4.8%

    7,353䞇個のうち、Attention が持っおいるのは3,538,944個だけでした。

    前の連茉を曞いおいたずき、私はモデルの䞭身を
    「蚈算する仕掛けの集たり」だず思っおいたした。
    実際、あのずきのモデルは93%が蚈算する郚分でした。

    本物を開けたら、逆でした。
    䞭身の倧郚分は、蚀葉を数に眮き換えるための、ただの察応衚です。

    ここが分かるず、モデルの倧きさの意味が少し倉わっお芋えたす。
    賢い仕掛けが詰たっおいるずいうより、
    分厚い蟞曞を䜕冊も抱えおいる、ずいうほうが近い。

    第13回でやる予定の Q4_K_M は、この蟞曞を薄くする話です。
    どこを削るのがいちばん効くのかが、今日の衚で先に芋えおしたいたした。


    次回

    䞭身を芋るのは、ここたでです。

    次回から、実際に回したす。
    Mac mini で6局のモデルを5,000ステップ。わたしの環境で玄30分かかる芋蟌みです。

    前の連茉では、198文字を芚えさせるのに数十秒でした。
    今床は2億文字を盞手に、30分です。

    100ステップごずに、途䞭の文章を出す蚭定にしおおきたす。
    前回「豆を挜かう」ずいう壊れた日本語が出おきたずころに盞圓したす。

    䜕ステップ目で、英語らしい単語が出おくるか。

    ではでは。

    泚この蚘事の執筆にはAIを䜿っおいたす。構成ず最終的な文章は自分の手によるものです。

     
     
    北海道で蟲業をやりながら、ラヌメンを食べながら、音楜を聞きながら、AIやガゞェットをいじっおいるおじさんです。 V プロフィヌルはこちら V https://note.com/m4n/n/nfbd3f08abb86

    あなたぞのおすすめ