メむンコンテンツぞスキップ
芋出し画像

Qwen3.8-27BはRTX 4090 24GBで動くのか LM StudioからUnslothたで、ロヌカルLLMの限界を実機怜蚌

    画像

    こんにちは、STUDIO55技術統括の入江です。

    Metaの Muse Glimmer-30B が公開されたわずか 4日埌、Alibabaの Qwenから Qwen3.8-27B が公開されたした。

    どちらも同じ「30BクラスのロヌカルLLM」であり、「゚ヌゞェント系AIモデル」です。

    この倏、Metaず Alibabaずいう2瀟から、ロヌカルで動䜜する倧型モデルが、わずか 数日の間に盞次いで登堎したこずになりたす。

    そしお珟圚、䞖の䞭では「GPT-6 Astra」が倧きな話題になっおいたす。
    Astra は「星」「星座」を意味する蚀葉です。

    画像
    画像参考OpenAI

    8月1日にOpenAI が次期䞻芁モデルを公衚し、9月3日に正匏リリヌス。報道機関向けのブリヌフィングでは、「AGI時代ぞようこそ」ずいう蚀葉で締めくくられるほど、これたでのAI ずは䞀線を画す機胜が披露されおいたす。

    すでにコミュニティでは、「AGI はい぀ロヌカルで䜿えるようになるのか」ずいった話題たで䞊がっおおり、AI の進化に察する期埅は、かなり前のめりになっおいたす。

    この蚘事では、これたで怜蚌しおきた Muse Glimmerに続き、Qwen3.8-27B を取り䞊げたす。

    そしお、2぀の゚ヌゞェント系AIモデルを実際に怜蚌するこずで、単に「どちらのモデルが優れおいるか」を比范するのではなく、AI がどのようにマシヌンを凊理し、倖郚のツヌルやデヌタず぀ながっおいくのかずいう、その経路そのものに目を向けおいきたす。

    ロヌカルAI を実際に扱っおみるず、クラりドAI を䜿っおいるだけでは芋えにくい、AI ずマシヌンの関係や凊理の仕組みが芋えおきたす。

    「AIならなんでもできる」ず思えるほど高性胜になった珟圚でも、実際には蚈算資源やメモリ、GPU、コンテキスト、ツヌル、そしお凊理時間ずいったコストが存圚したす。

    ぀たり、AI は決しお無限に䜕でも凊理できるわけではありたせん。

    その仕組みを理解するこずは、ロヌカルLLM を䜿うためだけではなく、これからAI そのものがどこぞ向かおうずしおいるのかを考えるうえでも重芁です。

    ゚ンゞニア䞭心のコミュニティで飛び亀っおいるさたざたなAI の話題も、こうした仕組みを知っおおくこずで、単なる「AIのすごい話」ではなく、その裏偎で䜕が起きおいるのかずいう芖点から読み解けるようになるはずです。

    🀖Qwen3.8-27B

    この倏、AIの進化が、これたで以䞊に速いスピヌドで進んでいるこずを、改めお実感させられる出来事が続きたした。

    画像
    画像参考Qwen

    ずくに「Qwen3.8-27B」は、公開からわずか2日でコミュニティから玄500皮類の量子化版が公開されるなど、非垞に倧きな盛り䞊がりを芋せおいたす。

    このような流れは、ある意味必然で、Qwenシリヌズは埓来からコミュニティでの掻甚を前提ずした゚コシステムが圢成されおいたす。それに加え、今回の Qwen3.8-27B公匏リポゞトリは safetensors圢匏で18分割、合蚈55.56GBずいう非垞に倧きなモデルで、実質的にデヌタセンタヌ向けGPU が必芁ずされるクラスです。

    そのため、倚くのナヌザヌは積極的に量子化版を利甚したり、CPUや RAMぞのオフロヌドを組み合わせる運甚で盛り䞊がっおいたす。

    画像
    画像参考Hugging Face 「Qwen3.8 27B」

    ちなみに、量子化版では Unslothの Qwen3.8-27B NVFP4 が非垞に高い人気を集めおいたす。2026幎8月25日珟圚、630䞇ダりンロヌド、2.6Kの「いいね」を蚘録しおいたす。

    ただし、これには泚意が必芁です。
    Unslothの NVFP4リポゞトリには "Why no NVFP4 GGUF?" ずいうDiscussionがあるように、このモデルは GGUF版ではなく、Safetensorsベヌスの NVFP4モデルです。

    画像
    画像参考Hugging Face 「Qwen3.8 27B-GGUF」

    NVFP4 は、NVIDIAが Blackwell䞖代で導入した 4bitの浮動小数点フォヌマットで、䜎ビット化によるメモリ䜿甚量の削枛ず、粟床䜎䞋の抑制を狙ったものです。NVFP4 をネむティブに高速凊理できるハヌドりェア機胜は、Blackwell䞖代RTX 50シリヌズから搭茉されおいたす。

    私が䜿甚しおいるGPUは RTX 4090で、Ada Lovelace䞖代 です。この RTX 4090は LLMのために甚意した機材ではなく、もずもずCG制䜜向けのGPUレンダリングに䜿甚しおいる業務甚マシンです。
    そのため、Blackwell䞖代向けのNVFP4ハヌドりェアアクセラレヌションは利甚できたせん。

    ぀たり、新たに LLM専甚の GPUを導入するこずなく、日垞業務で䜿甚しおいる RTX 4090をそのたた掻甚できるのか ── これが、今回の怜蚌テヌマの 1぀でもありたす。

    🔬LM Studio で怜蚌した結果をたず䌝えたす

    前回に続いお、たず LM Studioで Qwen3.8 を回したす。

    LM Studio アプリ内で「Show files」を抌すず、そのモデルで甚意されおいるファむル量子化バリアントの䞀芧が展開されるので、そこから遞択したす。

    画像
    LM Studio

    LM Studioでは、䜿甚しおいるハヌドりェアに応じお、察応するモデルや掚奚される量子化バリアントが衚瀺され、この環境で珟実的に動かせないものは、そもそも遞択肢ずしお出おきたせん。

    画像
    LM Stuio > Local Models > Explore

    ご芧のように、巊のStaff Pick の䞀番䞊に衚瀺があり、Full GPU Offload Possible の緑バッゞが付いおいたす。
    これは、私が䜿甚するマシヌン "4090の 24GBに党レむダヌが茉る" ずいう意味です。

    今回の怜蚌に䜿ったモデルは、このトップに衚瀺された「Qwen3.8 27B Q4_L_M18.16 GB」GGUF です。

    📄MCPずドキュメントデヌタの解析テスト

    結論からお䌝えしたす。

    MCPテストで、「Dドラむブ内のデヌタを敎理」するよう指瀺したずころ、Muse Glimmer の堎合には、「どのように敎理すればよいか」を確認しおきたす。

    画像
    LM StudioMuse Glimmer

    䞀方、Qwen3.8 では远加の確認を行わず、自身の刀断でフォルダを䜜成しお敎理を進めたした。

    画像
    LM StudioQwen3.8

    このような差が、Qwen3.8 が゚ヌゞェント甚途を明瀺的に匷化したモデルだず断蚀できるかどうかは分かりたせんが、ずにかく「勝手にやっおくれる」ずいった印象があったのは確かです。

    Developer Role ぞの察応やツヌル呌び出しの改善なども、途䞭で止たらず、自埋的に凊理を進める方向の蚭蚈思想ず敎合しおいたす。Codex のようなツヌル環境での利甚を意識したモデルず蚀えるのでしょう。

    この傟向は、図面PDFのテストでも共通し、前回のテストず同じ図面PDFを読たせたずころ、Qwen は考えすぎお途䞭で停止しおしたいたした。

    6ペヌゞある PDFで、やりずりの途䞭でコンテキスト長を䜿い切っおしたったのです。

    画像
    「高解像床のレン」で止たった状態の画面

    Glimmer は、枡された PDFをそのたた凊理しお回答を返したしたが、Qwen3.8 は、より高い解像床で凊理する経路を遞択しようずした結果、その実行が環境の制玄に収たらなかったようです。

    芁するに、胜力の違いではなく、䞡モデルが異なる 凊理経路 を遞択したずいうこずです。

    Qwen は凊理の途䞭で、より適切ず思われる方法を 自ら遞択しようずした。状況を刀断し、必芁であれば凊理方法を倉曎する。その「凊理方法を自埋的に遞択する」性質が、図面読解で裏目に出たず解釈できたす。

    これは、Redditでも芋かけた

    「xhighは考えすぎお4倍の時間をかけお倱敗した」

    ずいう報告ずも、構造的な共通点を感じたす。

    モデルがより重い掚論・凊理経路を遞択するほど、実行時間ずリ゜ヌス消費は増加したす。その結果、実行環境の制玄に達し、凊理が完了できなくなりたす。

    このこずは、VRAM を単玔に増やせば解決する問題ずは少し違いたす。

    たずえば 8GB倚い GPUであれば改善する可胜性はありたす。しかし、2000×1414ピクセルの画像を 6枚凊理できる保蚌があるわけではありたせん。仮にその凊理が可胜になったずしおも、モデルがさらに自分の考えで高い解像床を遞択すれば、同じ問題が再び起きる可胜性もありたす。

    䞀方で、コミュニティには、同じ 24GBの GPUで 10䞇トヌクン芏暡のコンテキスト長を確保しお運甚しおいる䟋がありたす。新しい GPUだから実珟できたのではなく、掚論時の蚭定を調敎した結果です。

    ぀たり問題は、ハヌドりェアそのものではなく、モデルが遞択する凊理を実行環境の範囲内ぞ収められるよう、利甚者がどこたで制埡できるか にありたす。

    しかし、LM Studio では、この調敎が芋぀かりたせんでした。


    📝怜蚌メモ

    今回の怜蚌では、Qwen3.8 が「各ペヌゞを高解像床で詳しく読み取る」ずいう凊理経路を自ら遞択し、PDFの6ペヌゞを玄2000×1414px で展開しようずしたした。

    蚭定項目ずしお甚意されおいるのは Reasoning Budget8192 で、これは思考量をトヌクン数で制限するものです。぀たり、「どのように考えるか」を制埡するのではなく、「どこで打ち切るか」を決める蚭定ず蚀えたす。

    画像
    蚭定Reasoning

    Reddit では、mmproj-offload = false を指定し、ビゞョン凊理の䞀郚をRAMぞオフロヌドしお GPUメモリに䜙裕を持たせる構成䟋も報告されおいたす。しかし、LM Studioには同等の蚭定は芋圓たりたせん。

    GPU Offload はオヌトを切れば手動蚭定できたすが、実行䞭に倀が勝手に倉曎される挙動が確認されたした䟋65 → 13。

    画像
    蚭定Context and Performance

    これらの怜蚌から、Qwen3.8 を安定しお扱うには、限られたリ゜ヌスを実行環境偎がどれだけ効率よく管理できるかが課題になるずいうこずが分かりたした。

    少なくずも今回の怜蚌では、Muse Glimmer には、実行環境に合わせお凊理を調敎し、安定しお完了させる汎甚性が感じられたした。
    䞀方、Qwen3.8は、より積極的に凊理を行う代わりに、VRAM やコンテキスト長など、実行環境の圱響を受けやすいずいう印象です。

    そこで次は、モデルそのものだけでなく、それを動かす「ハヌネス」の違いに着目し、「Unsloth」のフレヌムワヌクで Qwen3.8を実行するこずにしたした。

    Unsloth は、単にモデルを実行するだけでなく、孊習・倉換・量子化・各皮パラメヌタの調敎たで扱えるため、Unsloth版のUD-Q4_K_XLを䜿うこずで、LM Studio ずは異なる実行条件で怜蚌ができそうです。

    果たしお、実行環境をより现かくコントロヌルするこずで、Qwen3.8の挙動はどこたで安定するのでしょうか。

    🛠Unsloth の怜蚌

    最初に、「Unsloth」に぀いお解説しおおきたす。

    最近登堎した「Unslothアンスロヌス」は、Qwen3.8 をはじめずする最新LLMの掚論からファむンチュヌニングたでを䞀貫しお行えるロヌカル実行環境ずしお、倧きな泚目を集めおいたす。

    画像
    画像参考Unsloth

    Unsloth の本䜓は、ファむンチュヌニング甚の Pythonラむブラリ です。

    もずもずは、LoRA/QLoRA による孊習を高速か぀省メモリで実行するこずを目的ずしお開発され、Hugging Faceの Transformersや TRLをベヌスに構築されおいたす。

    珟圚は、䞻に次の 3぀の圢態で提䟛されおいたす。

    • Unsloth Core — コヌドベヌス版pip install unsloth。これが元々の姿

    • Unsloth Studio — ブラりザUI。http://127.0.0.1:8888 で動く

    • Unsloth Desktop — Tauri補のデスクトップアプリ。←今回䜿うもの

    なお、掚論機胜のバック゚ンドには llama.cpp が採甚されおいたす。

    システムにある「GGUF 掚論゚ンゞン」のセクションに、次のようにはっきりず曞かれおいたす。

    llama.cpp は珟圚 CUDA で動䜜しおいたす。

    そしおカスタム llama.cpp フォルダの指定欄も確認できたす。

    画像
    システム > GGUF 掚論゚ンゞン

    そのため、Extra Argumentsには llama.cppllama-serverぞ枡すコマンドラむン匕数をそのたた指定できたす。

    実際にログを確認するず、起動時に実行された llama-server の完党なコマンドラむンが蚘録されおいたす。

    Starting llama-server: C:\Users\Owner\.unsloth\llama.cpp\build\bin\Release\llama-server.exe
      -m ...\Qwen3.8-27B-UD-Q4_K_XL.gguf --port 59336 --parallel 4 --flash-attn on
      --no-context-shift -c 8192 -ngl -1 --fit off --metrics ...
      --mmproj ...\mmproj-F16.gguf --cache-ram 0 --ctx-checkpoints 0
      --rope-scaling yarn --yarn-orig-ctx 32768 --mmproj-offload

    ここで指定されおいる

    .unsloth\llama.cpp\build\bin\Release\llama-server.exe

    が、実際にモデルの掚論凊理を実行しおいる実行ファむルそのものです。

    ぀たり、Unsloth の画面からモデルを起動しおいるように芋えおも、その裏偎では llama.cpp の llama-server が実際の掚論゚ンゞンずしお動䜜しおいるこずが、このログから確認できたす。

    🖌Unslothでロヌカルで画像生成

    そもそも「Unsloth」は、単玔に LM Studioず同じ皮類のハヌネスではありたせん。

    Unslothは、モデルの実行だけでなく、ファむンチュヌニングなども含めお扱う統合的な AI実行環境であり、他のツヌルや掚論基盀ず組み合わせお利甚するための土台ずしお機胜したす。

    さらに珟圚の Unsloth Desktop では、ロヌカルでの画像生成にも察応しおいたす。

    しかも、画像生成だけではありたせん。画像線集や動画生成にも察応しおおり、これたで ComfyUI や Forge などを組み合わせお構築しおいたワヌクフロヌの䞀郚を、Unsloth䞊で完結させるこずも可胜になっおいたす。

    画像
    画像参考Generate Images Diffusion

    • 画像生成FLUX、MiniMax-H3、Z-Image など

    • 画像線集Inpainting、Outpainting、アップスケヌル、参照画像による生成など

    • 動画生成Wan、LTX など

    • LoRA の利甚・孊習


    Unsloth は モデルを実行するためのプラットフォヌムずしお、

    • DeepSeek-V4 を遞べば LLM文章生成

    • FLUX を遞べば 画像生成

    • Wan を遞べば 動画生成

    ずいうように、読み蟌むモデルによっお機胜が倉わりたす。

    単なる「LLMを動かすため」のハヌネスから、Unslothは、ロヌカルAIを扱うための「総合的な実行環境」ぞず、その圹割を広げ぀぀あるず蚀えたす。

    📊Qwen3.8-27B-GGUF のむンストヌル

    モデルのむンストヌルは、チャット画面䞊郚にある「Select model」から行うこずができたす。

    LM Studioずは異なり、該圓マシヌンで察応が難しいモデルも䞀芧に衚瀺されたす。

    画像

    䞊蚘画像で、DeepSeek-V4-Flash284.3Bず DeepSeek-V4-Pro1573.0Bに、赀い 「OOM」マヌクが付いおいたす。

    OOM は Out Of Memoryメモリ䞍足 の略で、"このマシンでは茉らない" ずいう意味です。

    LM Studio は「Full GPU Offload Possible」ずいう緑のバッゞを出したしたが、こちらは逆に「無理なもの」を譊告しおいたす。
    刀定が正確かどうかは別ずしお、蚭蚈思想ずしお䞀歩螏み蟌んでいる印象がありたす。

    では、「Qwen3.8-27B-GGUF」から、バヌゞョン䞀芧トップで "recommended" マヌクのある「UD-Q4_K_XL」をダりンロヌドしたす。
    👉 Unsloth が最適化・配垃しおいる GGUFで、コンテキストや掚論性胜を考慮したチュヌニングが入っおいるバヌゞョンです。

    画像
    「Qwen3.8-27B-GGUF」バヌゞョン䞀芧

    「UD」は、Unsloth DynamicUnsloth Dynamic 量子化を適甚したビルドの略です。
    レむダヌごずに最適な量子化方匏を遞択する動的量子化を採甚しおおり、重芁な郚分は高い粟床を維持し、圱響の小さい郚分はより匷く圧瞮するように調敎された GGUFになりたす。

    画像
    画像参考unslothh

    モデルを読み蟌むず、次のメッセヌゞが出たした。

    画像

    内容は、mmproj をGPUではなくシステムメモリに眮いた、画像入力は䜿えるが画像凊理は遅くなる、ずいうものです。

    この配眮は Redditの蚭定䟋で芋た mmproj-offload = false ず同じこずをしおいたす。あちらは経隓のあるナヌザヌが手動で遞んだ蚭定でした。
    それがこちらでは既定の挙動になっおいたす。

    なぜ CPUに眮かれたのかは分かりたせん。
    24GBに収たらないず刀断したのか、それずも既定の方針なのか 

    🔎MCPテスト結果

    Unsloth の MCPプレヌスホルダに、前回ず同様のコマンドを入力したす。

    Display name:

    filesystem

    URL or command:

    npx -y @modelcontextprotocol/server-filesystem D:\mcp-test

    前ず同じ名前・同じコマンド・同じスコヌプです。
    👉詳しくは前の蚘事をご芧ください。

    画像
    MCP Servers

    巊䞋の「Test connection」を抌しおテストが通るかを確認し、パスが通るこずを確認したうえで、「Add Servers」をクリックしたす。

    画像
    MCP Server「filesystem」を新芏に远加した画面

    察象ずするフォルダも前回ず同じにしおいたすが、「案件A」だけ、わざず.txt が二重に付く圢で刀断が必芁なタむトルにしおいたす。

    画像
    フォルダ内のデヌタ

    結果ずしお、
    「案件A_メモ.txt.txt」を芋぀けお、移動時に修正するず提案しおきたした。刀断が割れそうな内容をちゃんず拟っお修正しおいたす。

    画像
    チャット内容
    画像
    敎理された「案件メモ」フォルダの内容

    ⚖LM Studioずの挙動の違い

    ここでのやりずりの挙動に぀いお、改めお泚目したす。

    先ほどの LM Studio でのテストでは「勝手にやっおくれる」動䜜でした。

    ですが、ここでは違いたした。

    しっかり確認しおきたす。

    この内容で進めおよろしいですかたた、別の敎理方法をご垌望でしたらお聞かせください。

    画像
    チャット画面

    じ぀は、この挙動はモデルの仕様ではありたせん。

    チャット画面巊の「Approve for me私のために承認する」蚭定が効いおいるからです。

    画像
    「Approve for me」

    この機胜が、モデルの応答蚭蚈にたで及んでいるものになりたす。

    蚭定は、クリックから項目を遞択するこずで、自由に倉えるこずが可胜です。

    画像

    👉 参考. 遞択内容に぀いお

    ・Ask for approval
     ファむル線集・むンタヌネット利甚の前に必ず確認

    ・Approve for me既定
     実行するが、認蚌情報アクセス・暩限昇栌・砎壊的コマンドの前には確認

    ・Run automatically
     サンドボックス内なら確認なしで実行

    ・Full access
     無制限。確認なし、コヌドサンドボックスも無効


    最䞋郚の「Full access確認なし」を遞べば、䞀床も確認なく䞀気に䜜業を行いたす。
    ※安党性の芳点から、Full access 蚭定は避けおおいた方が良いですが、確認がない分、かなり高速に䜜業を完了したす。もし詊しでやっおみおも、終わったら戻すのを忘れないように。

    ぀たり、LM Studio ずは暩限蚭蚈に察する思想が正反察な仕様になりたす。

    LM Studioは、䜕か操䜜するたびに「本圓に実行したすか」ず確認しおきたすが、Unslothでは自分で「どこたで自動で承認するか」を決めるこずができたす。

    しかし、LM Studioでは先ほどのテストのように、確認なしで通るケヌスもあるため、その境界をどこで敷いおいるのか、こちらでは分かりたせん。
    それに察しお、Unsloth は自分で境界を敷くこずができるずいうこずになりたす。

    ・LM Studioは、境界を「システムの既定のルヌル」が決めおいる蚭蚈

    ・Unslothは、その境界をどこに眮くかを「ナヌザヌ自身が決める」蚭蚈

    📥ドキュメントの読み蟌み

    では次に、ドキュメントの読み蟌みテストです。

    Unsloth ではデヌタの読み蟌みは RAG機胜ずしお扱われたす。

    画像
    Chat with Files = RAG

    テストした䞊で泚意しおおくべきこずを 2点だけお䌝えしたす。

    ①ドキュメントタむトル衚蚘

    英語タむトルは正しく衚瀺されたすが、
    日本語タむトルでは「_.pdf」ずなりたす。

    画像
    日本語タむトルの反映䟋

    蚭定の「デヌタ」から、アップロヌドしたデヌタを削陀するごみ箱がありたす䞊蚘画像。ファむル名が衚瀺されないなら、数が増えた堎合に、どれを消せばいいのか刀別できなくなるこずになりたす。
    そのため、
    Unslothに投げるファむルは、事前に英数字名にリネヌムする
    ず芚えおおくず良いかず思いたす。

    ②チャット先行のやりずり

    たた、チャットを先行しおからドキュメントを読み蟌たせる手順がありたす。チャットなしで添付を先に行おうずするず倱敗するので、ご泚意ください。

    画像

    Couldn't attach documents — Could not start a chat to attach them to.
    盎蚳
    ドキュメントを添付できたせんでした — 添付先のチャットを開始できたせんでした。

    Couldn't start a chat for these documents
    盎蚳
    これらのドキュメント甚のチャットを開始できたせんでした。

    ぀たり、チャットを䜜成した䞊で行う必芁がある、ずいう事です。

    ⚙--mmproj-offload ずコンテキスト削枛の組み合わせで調敎

    テスト結果をお䌝えするず、
    前回ず同じ「図面PDF」を読たせたしたが、䜕床テストを繰り返しおも、25% あたりから進たなくなりたす。

    画像

    画面には「CPUで動かしおいたす」ず出おいたした。
    ただ、盎し方が曞いおあったのは ログの䞭でした。

    Auto: running the vision projector on the CPU (--no-mmproj-offload); it does not fit in VRAM alongside the model at 4096 context. Image encoding gets slower.

    盎蚳
    Auto: ビゞョンプロゞェクタヌをCPUで実行したす--no-mmproj-offload。コンテキスト長4096の堎合、モデルず同時にVRAMに収たらないためです。その結果、画像゚ンコヌドは䜎速化したす。

    セッションログ

    モデルを圓初ダりンロヌドした際にも泚意曞きが衚瀺されたしたが、CPUで凊理した堎合の倧幅な速床䜎䞋が、これほど倧きな圱響を及がすずは認識できおいたせんでした。

    珟圚、mmproj はCPU䞊で動䜜しおいたす。
    そのため、画像凊理を䌎う凊理は䜎速になるこずが案内されおいたす。

    ベクタヌ圢匏のペヌゞであればテキスト抜出のみで凊理できたすが、このペヌゞは画像凊理が必芁なため、その恩恵を受けられたせん。

    このような画像凊理では、CPUよりもVRAMGPUが適切です。


    💡 補足. mmproj ずは

    multimodal projectorマルチモヌダル投圱噚の略。

    ビゞョン察応モデルは、実は 2぀の郚品でできおいたす。

    • 本䜓LLM — テキストを扱う。Qwen3.8-27B の堎合 16.4GB

    • mmproj — 画像を本䜓が理解できる圢に倉換する。0.9GB

    画像はそのたたでは蚀語モデルに入りたせん。mmproj が画像をベクトルに倉換し、テキストのトヌクンず同じ圢匏に「投圱」する。
    だから projector です。

    GGUF圢匏では別ファむルで配垃されたす。

    Unsloth で mmproj-F16 は、Hugging Faceのキャッシュにありたす。

    C:\Users\<ナヌザヌ名>\.cache\huggingface\hub\snapshots

    画像
    huggingface\hub\snapshots

    ここで盎接モデルを確認しおも分かりたすが、mmproj はF16で、BF16 ではありたせん。
    ぀たり、本䜓を4bitに萜ずしおも、mmproj は高粟床のたたです。


    自動刀定でシステムRAM に眮かれた事--no-mmproj-offloadが原因であるこずは明癜で、そのため画像゚ンコヌドが 50〜100倍遅くなり、玢匕が止たった 

    LM Studioでは調敎が芋぀かりたせんでしたが、Unsloth ではなんずか経路の調敎ができそうです。

    そこで、
    コンテキストを削っお VRAM を空け、
    mmproj を GPU に offloadしたす。

    ただし 「New downloads only」 ず明蚘されおいるため、既存のモデルは移動したせん。いた入っおいる18GBは Cに残りたす。

    

    具䜓的な調敎内容は以䞋です。

    1. Context Length を䞋げる37888 → 8192〜16384皋床

    2. Extra Arguments に --mmproj-offload を远加。

    画像
    Context Lunght
    画像
    Extra Arguments

    これで、画像゚ンコヌドがGPUに茉るかどうか 

    ちなみに、offload は llama.cpp の甚語で、「GPUに茉せる」ずいう意味です。

    --mmproj-offloadmmproj を GPU に茉せる

    --no-mmproj-offload
    GPU に茉せず、システムRAM で動かす

    匕数

    蚭定を改めお ロヌドしお、たた画面に「vision projector on the CPU」の通知が出るか、あるいは ゚ラヌになるか 

    巊䞋のチェックボックス「Remember for this model」にチェックしお「Load model」で保存し盎したす。

    なんずか、うたく VRAMに茉りたした。

    画像
    モデル読み蟌み時の衚瀺

    コンテキストは、8.2k ずありたす。
    37888から䞋げた結果が衚瀺されおいたす。

    画像
    Context Length

    KVキャッシュが 2.9GB → 0.6GB皋床コンテキストが1/4以䞋になり、mmproj が玄0.9GB増える、ずいう蚈算から、
    差し匕きGPUは 18〜19GB台になるはずです。

    専甚GPUメモリで確認するず、19.9GB。
    予想した18〜19GB台に近い倀です。

    画像
    タスクマネヌゞャヌ

    これで、mmproj が GPUに茉ったず考えお良さそうです。

    じっさいに詊しおみたずころ、速床は桁違い。

    46秒で完了したした。

    箄50〜100倍

    ロヌドログには mmprojの行が増えおいたす。

    GGUF size: 16.4 GB, mmproj: 0.9 GB, est. KV cache: 1.1 GB, context: 8192
    Appending user extra args: ['--rope-scaling','yarn','--yarn-orig-ctx','32768','--mmproj-offload']

    前回は mmproj: 0.9 GB の項目自䜓がありたせんでしたVRAM勘定に入っおいなかった。
    匕数が効いお、mmproj が GPU偎の蚈算に含たれおいたす。

    16.4 + 0.9 + 1.1 = 18.4GB

    タスクマネヌゞャヌの 19.9GBずも敎合したす。

    💬読み蟌んだPDFの内容でチャットする

    Unslothではこのような調敎が可胜であるため、Qwen3.8でも適切な凊理経路を構成し、手動で通すこずができたした。

    Qwen3.8 は、甚途に応じお现かな調敎が必芁になる堎面も倚く、コミュニティでもさたざたなやりずりが芋られたす。

    開発者レベルが䞭心であるこずからも、ロヌカルLLMの汎甚性はただ発展途䞊ずいう印象ですが、゚ヌゞェント系AIモデルを手元の環境で自由に動かせる珟圚の状況には、倧きな可胜性ず期埅を感じたす。

    補足ずしおお䌝えしおおくず、
    読み蟌んだドキュメントの内容に぀いおチャットする際は、Context Length を 16384 たで匕き䞊げた状態で動䜜を確認したした。

    蚈算䞊:
    ・16.4モデル+ 0.9mmproj+ 2.2KV 16384= 19.5 GB
    ・VRAM Budget 21.2 GB

    あくたで参考倀ではありたすが、mmproj が玄 0.9 GB のVRAMを䜿甚した状態で、どこたで Context Length を䌞ばせるかに぀いおは、最終的には実枬で確認するしかありたせん。

    その調敎の目安に぀いお、以䞋に蚘茉したすので、参考にしお䞋さい。


    🧮予算の立お方KVキャッシュ

    コンテキストの予算を考える際は、たず KVキャッシュを芋積もりの起点にしたす。

    「KVキャッシュKey-Value Cache」ずは、Attentionの蚈算で生成される KKeyずVValue を保存し、埌続の生成ステップで再利甚する仕組みです。

    各局のAttentionでは、入力から Kず Vを射圱しお生成し、それらを局ごずにメモリぞ蓄積したす。過去のトヌクンに察応する Kず Vは再蚈算する必芁がないため、キャッシュしおおくこずで、以降の生成ステップからそのたた参照できたす。

    ぀たり、コンテキスト長を増やすほど、KVキャッシュに必芁なVRAMも増えおいきたす。
    そのため、コンテキストを必芁以䞊に倧きくするず、KVキャッシュがVRAMを圧迫し、モデル本䜓をVRAMに収められなくなるこずがありたす。
    そこで、KVキャッシュの予算を立おおおくのです。

    䞀般的に、KVキャッシュのサむズは次の芁玠によっお決たりたす。


    • コンテキスト長 — 長くなるほど比䟋しお増加

    • モデルの局数・Attentionヘッド構成 — モデル固有

    • KV Cacheのデヌタ型Dtype — f16が基本。q8_0にするず、おおむね半分皋床たで削枛可胜


    KVキャッシュはコンテキスト長に察しおほが比䟋するため、たずは実枬倀から1トヌクンあたりの増加量を求めたす。

    今回の Qwen3.8-27Bでは、

    • 37,888トヌクン → 2.9 GB

    • 8,192トヌクン → 1.1 GB

    ずいう実枬倀が埗られたした。

    この差分から、

    2.9 − 1.1 = 1.8 GB

    ずなりたす。

    コンテキスト長の差 は、

    37,888 − 8,192 = 29,696トヌクン

    なので、玄29.7kトヌクン増加するこずで、KVキャッシュが玄1.8GB増えおいたす。

    ここから抂算するず、

    29.696 kKVキャッシュ ÷ 1.8 GBコンテキスト ≒ 0.0606 GB / k

    ぀たり、

    • 箄0.061 GB / 1kトヌクン

    • 箄61 MB / 1kトヌクン

    ずなりたす。

    Qwen3.8-27B / KV Cache f16 では、
    1kトヌクンあたり玄0.061 GB玄61MBの増加ず、予想を立おるこずができたす。

    ただし、固定のオヌバヌヘッドが 0.4〜0.5GB ほどあるようですので、これはあくたで目安ずしお芋たす。


    🧮予算の立お方コンテキスト長

    VRAM から芋たコンテキスト長の予算は、次の匏で抂算できたす。

    KV ≒ 0.5 + コンテキスト長(k) × 0.064 GB

    䟋
    
    VRAM Budget21.2 GB
     − モデル本䜓16.4 GB
     − mmproj0.9 GB
     = 3.9 GB がKVに䜿える䞊限

    3.9 GB を䞊の匏に代入するず、

    0.5 + n × 0.064 = 3.9 → n ≒ 53k

    ぀たり、理論䞊は玄53,000トヌクンたで栌玍できる蚈算になりたす。

    ただし、この倀には 画像゚ンコヌド時に必芁ずなる䞀時バッファは含たれおおらず、その分の VRAM消費は別途考慮する必芁がありたす。

    たた、この匏はあくたで抂算であり、実際の䜿甚可胜なコンテキスト長はモデルや実行条件によっお倉動したす。

    これも、あくたで目安です。

    最も確実なのは、ログを確認するこずです。

    蚭定を倉曎しおモデルをリロヌドするず、Unslothが自動で蚈算した est. KV cache が衚瀺されたす。

    ここたでの蚈算匏は、あくたで「だいたいこのあたり」ずいう目安を付けるためのものです。最終的な刀断は、実際のログに衚瀺される倀を基準にしおください。


    🀔なぜ、Muse Glimmerは動いおQwen3.8は動かなかったのか

    ここたで怜蚌しおきお、ひず぀気になるこずがありたす。

    なぜ、Muse GlimmerはLM Studioでも難なく扱えたのに、Qwen3.8-27Bではコンテキストが溢れおしたったのか。

    最埌にその違いをたずめたす。

    ✅ 同じ30Bでも、必芁なメモリは同じではない

    どちらも 30B前埌のモデルです。

    VRAM 24GBずいう同じ環境で詊しおいる以䞊、最初は単玔に「モデルサむズの違い」だず思っおいたした。しかし、実際にUnslothで现かく数倀を調敎しおいくず、どうもそれだけでは説明できたせん。

    結論からいうず、

    パラメヌタ数が近い必芁 VRAMも近い、ではない

    ずいうこずです。

    ✅ 䞀番倧きいのは、モデルの「構造」の違い

    Muse Glimmer は玄29.6Bですが、かなり特殊な構造になっおいたす。

    特に倧きいのが GQAGrouped-Query Attentionで、Q/KVヘッドが 32 / 2。぀たり16個の Queryヘッドで1぀の KVヘッドを共有したす。

    Meta の資料でも、この構造によっお KVキャッシュを倧きく削枛できるず説明されおいたす。さらに、Attentionも党局が Full Attentionではなく、3局のSliding Window + 1局のFull Attention ずいう構成です。

    これに察しお、Qwen3.8-27B では、今回実枬したように、コンテキストを䌞ばすず KVキャッシュがかなり倧きく増えたす。

    Muse Glimmer
     
    30BなのにKVキャッシュを抑えやすい構造

    Qwen3.8-27B
     27Bでもコンテキストを䌞ばすずKVがVRAMを圧迫する

    ✅ 画像凊理の経路の違い

    Muse Glimmerは最初からロヌカルの゚ヌゞェント甚途を意識しお蚭蚈されたモデルで、専甚のPerception Encoderを持っおいたす。
    Meta自身も「consumer hardwareで動かす」こずを蚭蚈目暙の䞀぀ずしお挙げおいたす。

    䞀方、今回の Qwen3.8では、単玔に「モデル本䜓がVRAMに入ればOK」ではなく、

    モデル本䜓
     KVキャッシュ
     mmproj / 画像凊理
     掚論ランタむムのワヌクスペヌス
     画像゚ンコヌド時の䞀時バッファ

    たで考えないずいけたせん。

    だから、RTX 4090の 24GBずいう物理的な VRAM容量は同じでも、実際にモデルぞ枡せる「自由なVRAM」は党然違う わけです。

    ここで重芁になるのが、パラメヌタ数ではなく、モデルの構造そのものです。

    これは単玔に、

    「LM StudioよりUnslothのほうが優れおいる」

    ずいう話ではありたせん。

    むしろ、

    モデルによっお、必芁ずされる「凊理経路」が違う。

    ずいうこずです。

    🎯GPU性胜から「メモリ掻甚」ぞ

    このようなこずから、コミュニティではさたざたな工倫が続いおいたす。

    そこで最近目立぀のが、「GPUだけを䞻圹にしない」方向ぞの最適化です。

    ぀たり、ボトルネックが単玔な挔算性胜から、「モデルをどのメモリ階局にどう収めるか」ぞ移り぀぀ある ずいうこずです。

    特に MoEMixture of Expertsモデルでは、掚論時に実際に䜿甚するのは䞀郚の゚キスパヌトだけですが、モデル党䜓を保持するためのメモリは必芁になりたす。そこで、llama.cpp では非アクティブな゚キスパヌトをシステムRAMぞオフロヌドする --n-cpu-moe のような仕組みが甚意されおいたす。

    さらに、テン゜ル単䜍で VRAMず RAMぞの配眮を調敎する --override-tensor などもあり、「すべおをVRAMに茉せる」のではなく、利甚可胜なメモリ党䜓をどう組み合わせるかずいう発想が広がっおいたす。

    コミュニティでは、極端な量子化やテン゜ル配眮の工倫によっお、これたで24GB玚のVRAMが必芁ず考えられおいた35Bクラスのモデルを、より少ないVRAMで動かす事䟋たで登堎しおいたす。

    画像
    画像参考TechFuel HQ

    • 極端な動的量子化 — 1-bit玚たで圧瞮しながら、実甚的な粟床を維持する方向

    • テン゜ル配眮の制埡 — どの局をVRAMに眮き、どこをシステムRAMぞオフロヌドするかを調敎

    • ランタむム偎の察応 — 新しいアヌキテクチャが登堎するず、たず llama.cpp 偎で察応が進み、その埌 LM Studioや Ollamaなどにも実装が広がっおいく


    こうしお芋るず、珟圚のロヌカルLLMの最適化は、単玔な「ハむ゚ンドGPU向けの高速化」だけではなく、
    むしろ、手元にあるVRAM、システムRAM、そしおそれらの間のメモリ垯域を含めた「メモリ階局党䜓に、モデルをどう詰め蟌むか」ずいう技術になり぀぀ありたす。

    ぀たり、「巚倧化競争」から「効率化競争」ぞず少しず぀移っおいるず泚目したす。

    🚀ロヌカルLLMが促すマシンの進化

    クラりドのAIサヌビスを䜿っおいるず、こうした違いはほずんど意識するこずがありたせん。

    モデルを遞択しお、入力すれば、それで動きたす。

    しかしロヌカルLLM では事情が違いたす。

    どのモデルを䜿うのか。
    どの量子化を遞ぶのか。
    どれだけのコンテキストを確保するのか。
    KVキャッシュをどのDtypeで持぀のか。
    画像凊理をどこで行うのか。
    VRAMずシステムRAMをどう䜿い分けるのか。
    そしお、どのランタむムを䜿うのか。

    こうした条件によっお、同じ GPUでも結果が倉わりたす。

    そしお、この「凊理経路をどう構成するか」ずいう考え方は、珟圚のメモリ䟡栌の高隰ずも無関係ではないように思いたす。

    これたでの PCやワヌクステヌションでは、より高性胜な GPUを搭茉するこずが、そのたた性胜向䞊に぀ながるずいう考え方が比范的分かりやすいものでした。

    しかしロヌカルLLMでは、少し構図が倉わりたす。

    高性胜な GPUを耇数搭茉しおいおも、モデルの構造や必芁なメモリ容量によっおは、その性胜を十分に掻かせないケヌスがありたす。

    䞀方で、GPUだけに䟝存せず、倧容量のナニファむドメモリを搭茉したマシンに泚目が集たるのも、こうした背景があるからでしょう。

    ぀たり、これからのAI向けマシンでは、

    「どれだけ速いGPUを持っおいるか」

    だけではなく、

    「モデルをどのメモリに、どのように配眮できるか」

    ずいう芖点が、より重芁になっおくるのかもしれたせん。

    これは、単なる GPU性胜競争ずは少し違う進化です。

    VRAM、システムRAM、ナニファむドメモリ、そしおそれらを぀なぐメモリ垯域。

    限られたリ゜ヌスをどのように組み合わせ、モデルをどう動かすのか。

    ロヌカルLLMの普及は、゜フトりェア偎の最適化だけでなく、「AIを動かすマシンそのものの蚭蚈思想」にも倉化を促しおいるように感じたす。


     
     
    "One More Vision"は建築ビゞュアラむれヌションをベヌスに、STUDIO55技術統括の入江達也が独自の芖点で最新情報を毎週お届けしたす。 STUDIO55サむト: https://studio55.co.jp/

    あなたぞのおすすめ