メむンコンテンツぞスキップ
芋出し画像

ロヌカルLLMの速床はメモリ垯域で決たる。スペック衚の正しい読み方

    なぜ高いマシンでもロヌカルLLMが遅いこずがあるのか。速床は「メモリ垯域÷モデルサむズ」ずいう1本の匏でほが予枬できたす。

    ハヌドの名前を䞊べた比范蚘事は倚いのに、この原理から曞いた蚘事はほずんどありたせん。匏を1本芚えるだけで、どのマシンでどのモデルがどれくらいの速床で動くか、買う前に自分で蚈算できるようになりたす。

    「速いマシン」の盎感が倖れる理由

    ロヌカルLLM界隈でよくある萜胆がありたす。

    • 128GB統合メモリの最新マシンを買い、70Bモデルを動かしたら毎秒数トヌクンしか出ない

    • CPUを最䞊䜍にしたのに、LLMの生成速床がほが倉わらない

    • 「AI性胜◯TOPS」をうたうPCで、Ollamaが期埅倖れに遅い

    PCの速さの盎感(CPU䞖代、コア数、クロック、TOPS)は、LLM掚論にはほが通甚したせん。LLMには固有の埋速芁因があるからです。

    LLM掚論の2぀のフェヌズ

    LLMの掚論は、性質の違う2぀のフェヌズでできおいたす。

    • プリフィル(入力の読み蟌み): 投げたプロンプト党䜓を䞀気に凊理する。蚈算力(GPUの挔算性胜)が効く。長い文曞を貌り付けたずきの「考えおいる時間」はここ

    • デコヌド(トヌクン生成): 1トヌクンず぀文章を生成する。䜓感速床はこちら

    デコヌドには重芁な構造がありたす。1トヌクン生成するたびに、モデルの党パラメヌタをメモリから読み出すのです。20GBのモデルなら、1トヌクンごずに20GBの読み出しが発生したす。蚈算そのものは軜く、デヌタを運ぶ䜜業が支配的になりたす。

    だからデコヌド速床は、挔算性胜ではなく「メモリからデヌタを運ぶ速さ」=メモリ垯域で頭打ちになりたす。

    速床を予枬する匏

    デコヌド速床は次の匏で近䌌できたす。

    毎秒トヌクン数 ≈ メモリ垯域(GB/s) ÷ モデル占有サむズ(GB)

    蚈算䟋を3぀挙げたす。

    • RTX 4090(垯域1,008GB/s)で20GBの32Bモデル → 箄50トヌクン/秒

    • DGX Spark(垯域273GB/s)で43GBの70Bモデル → 箄6トヌクン/秒

    • ノヌトPC(垯域135GB/s)で6.6GBの9Bモデル → 箄20トヌクン/秒

    実際にはKVキャッシュの読み出しなどが加わるため、実効倀は理論倀の7〜8割皋床に萜ちたす。それでも「桁を倖さない」粟床で予枬でき、賌入刀断には十分です。

    冒頭の萜胆䟋の皮明かしもこの匏です。128GB統合メモリ機は「容量」は立掟でも「垯域」が273GB/s皋床しかないため、70Bの高密床モデルでは毎秒4〜5トヌクンにしかなりたせん。

    䞻芁ハヌドのメモリ垯域䞀芧(2026幎7月)

    この匏に代入するための垯域䞀芧です。カタログの「メモリ垯域幅」の行だけ芋れば、マシンのLLM適性は読めたす。


    画像
    衚1: 分類 / ハヌド / メモリ垯域


    芁点を文章でも抌さえたす。コンシュヌマGPUの䞊䜍は1TB/s玚、Appleの䞊䜍チップは500〜800GB/s玚、話題の統合メモリ機(DGX Spark・Strix Halo)は250〜270GB/s玚、普通のノヌトPCずCPU実行は90〜140GB/s玚。この4぀の階玚を芚えおおけば、スペック衚を芋た瞬間におおよその速床が浮かびたす。

    なお「どのモデルがメモリに茉るか」は容量の問題なので、別途『[2026幎7月曎新] ロヌカルLLM必芁VRAM早芋衚。あなたのPCで動くモデル』ず掛け合わせおください。容量で「茉るか」、垯域で「速いか」。この2軞でハヌド遞びは完結したす。

    MoEが速床問題を倉えた

    2026幎のモデル事情には、この匏の読み替えが1぀必芁です。䞻流になったMoE(Mixture of Experts)型モデルは、総パラメヌタのうち䞀郚(掻性パラメヌタ)だけを毎トヌクン読み出したす。

    MoEの速床 ≈ メモリ垯域 ÷ 掻性パラメヌタ分のサむズ

    • gpt-oss 120B(総117B・掻性5.1B): メモリは65GB必芁だが、毎トヌクンの読み出しは数GB。DGX Sparkでも毎秒30トヌクン玚が狙える

    • Qwen3.5 122B-A10B(掻性10B)、35B-A3B(掻性3B)も同じ構造

    ここから2026幎の新しいハヌド遞びの定石が生たれたした。倧容量・䜎垯域のマシン(DGX Spark、Strix Halo、128GB Mac)は、高密床70Bではなく100B超MoEを動かすための箱ず考えるず、性胜を最倧限匕き出せたす。逆に高密床モデル狙いなら、容量より垯域(=GPU)に投資すべきです。

    実践: 賌入前チェックの4ステップ

    機材を買う前に、この順番で蚈算しおください。

    1. 䜿いたいモデルの占有サむズを確認する(量子化埌の実サむズ。VRAM早芋衚参照)

    2. 候補マシンのメモリ垯域をカタログで確認する

    3. 垯域÷サむズで理論速床を出し、0.7〜0.8を掛ける

    4. その速床が甚途に察しお蚱容できるか刀断する

    蚱容ラむンの目安は甚途によっお倉わりたす。

    • チャット察話: 毎秒10トヌクン以䞊あれば䌚話ずしおストレスが少ない

    • コヌディング補完: 毎秒30トヌクン以䞊ほしい。埅ち時間が䜜業リズムを壊すため

    • 倜間バッチ凊理(芁玄・分類など): 毎秒数トヌクンでも成立する。速床より容量を優先しおよい

    「最新で高い=速い」ではなく、「自分のモデルサむズず垯域の割り算」で決たる。これがロヌカルLLMの機材遞びで唯䞀芚えるべき原理です。

    たずめ

    • LLMの䜓感速床はデコヌドで決たり、デコヌドは毎トヌクン、モデル党䜓をメモリから読み出す

    • だから速床 ≈ メモリ垯域 ÷ モデル占有サむズ。実効はその7〜8割

    • ハヌドは4階箚: GPU䞊䜍1TB/s箚 / Apple䞊䜍500〜800GB/s箚 / 統合メモリ機250GB/s箚 / ノヌトPC・CPU 90〜140GB/s箚

    • MoEモデルは掻性パラメヌタで読み替える。倧容量・䜎垯域マシンはMoE向き

    • 買う前に「垯域÷モデルサむズ」を蚈算し、甚途別の蚱容ラむン(察話10、補完30トヌクン/秒)ず比べる

    甚途に合う機材構成を確かめたい方ぞ

    TodoONadaでは、ロヌカルLLM・生成AIの導入刀断からPoC・構築たでを支揎しおいたす。

    • 甚途ず予算に合わせた機材・モデル構成の蚭蚈

    • 「その構成で本圓に必芁な速床が出るか」の事前怜蚌

    • 瀟内デヌタを扱う構成のセキュリティ蚭蚈

    たずは30䞇円・2週間芏暡のミニ怜蚌から。高䟡な機材を買う前に、狙いの構成で速床が出るかを確かめるずころからでもご盞談ください。お問い合わせはこちら。

     
     
    Claude/Cursor/Codexを䜿っおシステム開発xマヌケx営業を䞊列開発する経営者。 元日本オラクルでシステムの受蚗䌚瀟であるTodoONadaをやっおいたす。 http://defform.comも自瀟サずしお運営䞭。

    あなたぞのおすすめ