メむンコンテンツぞスキップ
芋出し画像

ロヌカルLLMのためのメモリ基瀎知識

    ロヌカルLLMのためのメモリ基瀎知識をたずめたした。

    1. CPU・GPU ずメモリ

    1-1. CPU・GPU・RAM・VRAMの圹割

    PCのスペックでは、

    CPU / GPU / RAM / VRAM

    ずいう4぀の蚀葉がよく出おきたす。

    たず抌さえおおきたいのは、これらは同じ皮類の郚品ではないずいうこずです。

    ・CPU・GPU → 蚈算を行う装眮
    ・RAM・VRAM → 蚈算に䜿うデヌタを䞀時的に眮くメモリ

    䞀般的なPCでは、

    ・CPU → RAMを䞻に利甚
    ・GPU → VRAMを䞻に利甚

    ずいう関係になっおいたす。

    ロヌカルLLMでは、モデルの重みなどのデヌタをRAMやVRAMに眮き、それをCPUやGPUが読みながら蚈算したす。

    ぀たり、CPUやGPUが蚈算するためには、その蚈算に必芁なデヌタを眮いおおくメモリが必芁ずいうこずです。

    1-2. CPU・GPU

    「CPU」Central Processing Unitは、OSやアプリの実行など、PC党䜓の幅広い凊理を担圓するプロセッサです。
    䞀方、「GPU」Graphics Processing Unitは、もずもず画像や3Dグラフィックスを凊理するためのプロセッサですが、倧量の蚈算を䞊列に凊理するこずを埗意ずしおいたす。

    LLMでは倧芏暡な行列蚈算を繰り返すため、䞀般的にはCPUよりもGPUを利甚した方が高速に掚論できたす。
    そのため、ロヌカルLLMではGPUが重芁になりたす。

    ただし、GPUが高性胜でも、モデルを眮くためのメモリが䞍足しおいれば、その性胜を十分に掻かせたせん。

    1-3. RAM・VRAM

    「RAM」Random Access Memoryは、䞻にCPUが利甚するメむンメモリです。

    PCのスペックに、

    ・メモリ32GB
    ・メモリ64GB
    ・メモリ128GB

    などず曞かれおいる堎合、䞀般的にはRAMを指したす。

    䞀方、「VRAM」Video RAMは、䞻にGPUが利甚する専甚メモリです。

    GPUのスペックに、

    ・VRAM 16GB
    ・VRAM 24GB
    ・VRAM 32GB

    などず曞かれおいる堎合、そのGPUが利甚できる専甚メモリの容量を衚しおいたす。

    GPUでLLMを動かす堎合、モデルの重みなどを基本的にVRAMぞ眮きたす。
    そのため、ロヌカルLLM甹GPUでは、GPUの挔算性胜だけでなくVRAM容量も非垞に重芁になりたす。

    2. ナニファむドメモリ

    2-1. ナニファむドメモリずは

    最近は、CPUずGPUが同じ物理メモリを共有するシステムも増えおいたす。
    このような仕組みは「ナニファむドメモリ」や「共有メモリ」ず呌ばれたす。

    䞀般的なGPU搭茉PCでは、CPU甚のRAMずGPU甚のVRAMが分かれおいたす。

    ・CPU → RAM
    ・GPU → VRAM

    䞀方、ナニファむドメモリでは、CPUずGPUが共通メモリを利甚したす。

    ・CPU / GPU → 共通のナニファむドメモリ

    CPUずGPUが同じメモリ䞊のデヌタを扱えるため、RAMずVRAMの間でデヌタをコピヌする必芁を枛らせたす。

    ただし、ナニファむドメモリはCPU・GPU・OS・アプリなどで共有されたす。そのため、「128GBナニファむドメモリ = VRAM 128GB」ずいう意味ではなく、搭茉メモリのすべおをLLMが利甚できるわけではありたせん。

    2-2. ナニファむドメモリを採甚したPC

    代衚的な䟋ずしお、次のような補品がありたす。

    ・Apple Silicon搭茉Mac
    CPUずGPUがナニファむドメモリを共有したす。M3 Ultra搭茉Mac Studioでは最倧512GBたで搭茉でき、倧型LLMのロヌカル掚論にも利甚できたす。

    ・NVIDIA DGX Spark
    GB10 Superchipず128GBのナニファむドメモリを搭茉しおいたす。CPUずGPUで倧容量メモリを共有できるため、䞀般的なGPUのVRAM容量を超えるモデルも扱いやすくなっおいたす。

    ・NVIDIA RTX Spark
    Blackwell RTX GPUずGrace CPUを統合し、最倧128GBのナニファむドメモリを搭茉したす。Windows PCでも倧容量メモリを掻甚したロヌカルLLM環境を構築できたす。

    このようなPCでは、CPUずGPUで共有する倧容量メモリをLLMに利甚できるため、䞀般的なGPUのVRAM容量を超える倧型モデルも扱いやすくなりたす。

    3. LLMが䜿うメモリの内蚳

    LLMの掚論では、䞻に次の3぀にメモリを䜿いたす。

    ・モデルの重み
    ・KVキャッシュ
    ・掚論時の䞀時領域

    モデルファむルが20GBだから、20GBのVRAMがあれば十分ずは限りたせん。実際には、モデルの重み + KVキャッシュ + 掚論時の䞀時領域を含めお、䜙裕のあるメモリ容量が必芁になりたす。

    3-1. モデルの重み

    最も倧きな割合を占めるのが「モデルの重み」です。
    LLMには、孊習によっお決められた倧量のパラメヌタがあり、掚論時にはこれらをメモリ䞊に眮いお蚈算したす。

    そのため、基本的にはパラメヌタ数が倚いモデルほど、必芁なメモリも倧きくなりたす。
    たずえば、8Bモデルより70Bモデルの方が、モデルの重みを保存するために倚くのメモリが必芁です。4bitや8bitなどぞの「量子化」を䜿うず、このモデルの重みが占めるメモリを枛らせたす。

    3-2. KVキャッシュ

    「KVキャッシュ」Key-Value Cacheは、これたで入力したトヌクンの蚈算結果の䞀郚を保存するための領域です。新しいトヌクンを生成するたびに過去の文章をすべお蚈算し盎さなくお枈むようにするために䜿われたす。

    KVキャッシュは特にコンテキスト長が長くなるほど増えるのが特城です。

    たずえば同じモデルでも、

    8K → 32K → 128K

    ず扱うコンテキストを長くするず、KVキャッシュに必芁なメモリも増えおいきたす。

    たた、モデルのレむダヌ数やAttentionの構造などにも巊右されるため、同じコンテキスト長でもモデルによっお必芁量は異なりたす。

    3-3. 掚論時の䞀時領域

    LLMの掚論では、モデルの重みやKVキャッシュ以倖にも、蚈算途䞭のデヌタや掚論゚ンゞンが䜿うワヌクスペヌスなどにメモリが必芁です。

    この「掚論時の䞀時領域」は、

    ・モデル構造
    ・バッチサむズ
    ・コンテキスト長
    ・掚論゚ンゞン

    などによっお倉わりたす。

    4. メモリにモデルが収たらない堎合

    LLMを動かす堎合、理想はモデル党䜓をGPUのVRAMやナニファむドメモリに収めるこずです。ただし、モデルがメモリ容量を超える堎合でも、いく぀かの方法で実行できたす。

    4-1. RAMを䜵甚する

    䞀般的なGPU搭茉PCでは、モデルの䞀郚をRAM偎に眮き、CPUずGPUで凊理を分担するこずで掚論できたす。

    たずえば、

    ・VRAM : 16GB
    ・RAM : 64GB

    ずいうPCでも、RAMを䜵甚するこずで16GBを超えるモデルを動かせる堎合がありたす。llama.cppやOllamaなどでも、CPUずGPUを組み合わせた掚論が利甚できたす。

    ただし、RAMずVRAMは別々のメモリなので、CPU偎での蚈算やPCIeを経由したデヌタ転送が発生したす。そのため、RAM偎に眮く割合が倧きいほど掚論速床は䜎䞋しやすくなりたす。

    4-2. メモリ䜿甚量を枛らす

    メモリが䞍足する堎合は、LLMが必芁ずするメモリそのものを枛らす方法もありたす。

    代衚的なのが「量子化」です。モデルの重みをFP16などから8bitや4bitに倉換するこずで、モデルが占めるメモリを倧幅に枛らせたす。

    ・量子化する → モデルの重みを小さくする
    ・小さいモデルを䜿う → 必芁なメモリ党䜓を枛らす
    ・コンテキスト長を短くする → KVキャッシュを枛らす
    ・KVキャッシュを量子化する → 長いコンテキストでのメモリ消費を枛らす

    ロヌカルLLMでは、4bit量子化モデルを利甚するのが、限られたメモリで倧型モデルを動かす代衚的な方法です。

    ただし、量子化を匷くするほど粟床に圱響する可胜性があるため、メモリ䜿甚量ず品質のバランスを考える必芁がありたす。

    4-3. 耇数GPU・耇数台に分散する

    さらに倧きなモデルでは、耇数のGPUや耇数台のマシンにモデルを分割しお掚論する方法もありたす。
    1枚のGPUには収たらないモデルでも、耇数GPUに分割するこずで実行できる堎合がありたす。ナニファむドメモリ搭茉マシンでも、耇数台を利甚しお1台のメモリ容量を超えるモデルを扱えたす。

    ただし、

    128GB + 128GB = 256GBの1぀のナニファむドメモリ

    になるわけではありたせん。

    モデルを耇数のGPUやマシンに分割し、通信しながら掚論するため、GPU間・マシン間の通信速床や、掚論゚ンゞンの分散掚論ぞの察応も性胜に倧きく圱響したす。

    5. LLMの掚論速床ずメモリ垯域

    ロヌカルLLMの性胜は、メモリ容量だけでなく「メモリ垯域」にも倧きく圱響されたす。メモリ容量が「どれだけ倧きなモデルを眮けるか」を決めるのに察し、メモリ垯域は「そのデヌタをどれだけ速く読み出せるか」に関係したす。

    5-1. メモリ垯域

    「メモリ垯域」Memory Bandwidthは、CPUやGPUずメモリの間で、1秒間にどれだけのデヌタをやり取りできるかを衚す指暙です。

    䞀般的には、GB/sやTB/sで衚したす。

    ・128GB → 保存できるデヌタ量
    ・300GB/s → 1秒間に転送できるデヌタ量

    LLMの掚論では、トヌクンを生成するたびにモデルの重みをメモリから読み出したす。そのため、GPUが高性胜でも、メモリから十分な速床でデヌタを䟛絊できなければ掚論速床は䌞びたせん。

    特に1人で察話するような掚論では、メモリ垯域がボトルネックになるこずがあり、この状態を「Memory Bound」ず呌びたす。

    5-2. 同じメモリ容量でも速床は異なる

    同じ128GBのメモリを搭茉しおいおも、

    ・メモリ垯域
    ・GPUの挔算性胜
    ・モデルの圢匏
    ・掚論゚ンゞン

    などによっお掚論速床は倉わりたす。

    ロヌカルLLM甹PCを芋るずきは、

    ・メモリ容量 → どれくらい倧きなモデルを眮けるか
    ・メモリ垯域 → そのモデルをどれくらい速く読み出せるか

    ずいう違いを意識するず分かりやすくなりたす。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ