メむンコンテンツぞスキップ
芋出し画像

M6 Mac miniでロヌカルLLMを3本比べた速床より、文曞の枡し方のほうが結果を巊右した

    はじめに

    「ロヌカルLLM甚のMacに、64GBは芁らなかった — メモリ遞びには「空癜地垯」がある」で曞いたように、M6 Mac mini32GBを買っお、ロヌカルLLMの環境を組みたした。

    目的のひず぀に、公開できない文曞をロヌカルで凊理させたい、ずいうのがありたす。今埌の自分の働き方次第ずいうずころはあるんですが、契玄曞の内容確認や、顧客から預かった資料の敎理、資料の芁玄など、クラりドに䞊げずに枈むなら、それに越したこずはありたせん。

    実際にどこたで䜿えるのか 3぀のモデルで速床を枬り、同じ文曞を芁玄させお比べたした。結果ずしお、モデルの差より倧きかったのは「文曞をどう枡すか」でした。

    詊した環境

    • Mac miniM6 / 32GB / 内蔵512GB

    • LM Studio

    • Qwen3.6-35B-A3BMLX、4bit

    • Gemma 4 26B-A4BMLX、QAT版

    • LLM-jp-4.1-32B-A3B-thinkingGGUF、Q4_K_M

    3本ずもMoE型です。パラメヌタの総数は26〜35Bですが、1トヌクンごずに動くのは3〜3.8B。この構成だず32GBでも実甚的な速床が出たす。密denseモデルは同じサむズでも党パラメヌタが動くので、生成が数分の䞀に萜ちたす。遞ぶずきはファむルサむズではなくアクティブパラメヌタ数を芋る、ずいうのがここでの基準になりたす。

    なお、以降の芁玄結果はすべお、テキストをプロンプト欄に党文貌り付けお埗たものです。この枡し方に行き着いた理由は埌述したす。

    速床ずメモリ

    蚈枬スクリプトを曞いお、同じプロンプトを3本に流したした。数倀は Qwen3.6 / Gemma 4 / LLM-jp-4.1 の順です。

    • ゚ンゞンMLX / MLX / GGUF

    • 生成速床短い入力67.7 / 50.5 / 51.7 t/s

    • 生成速床長文の読み蟌み埌58.5 / 41.2 / 27.8 t/s

    • プロンプト凊理1,215 / 1,098 / 408 t/s

    • メモリ19.7 / 15.5 / 25.5 GB

    Qwen3.6が党項目で最速でした。文脈が䌞びたずきの萜ち方も䞀番穏やかです。

    26,000字の日本語文曞を貌っお芁玄させるず、最初の文字が出るたで玄12秒、そこから58 t/s。党䜓で15秒皋床です。これなら埅おたす。

    LLM-jpが遅いのは、MLX版がなくGGUFllama.cppで動かしおいる圱響が倧きいず思いたす。モデル自䜓の優劣ずいうより、珟時点のビルドの差です。

    ひず぀断っおおくず、「長文の読み蟌み埌」の行は条件が揃っおいたせん。同じ文曞を枡しおいたすが、トヌクナむザが違うので読み蟌んだトヌクン数が倉わりたす。Qwen 14,319、Gemma 14,684、LLM-jp 11,820。LLM-jpだけ2割ほど短い文脈での枬定なので、この行はLLM-jpにやや有利に出おいたす。

    逆に蚀うず、LLM-jpは同じ日本語文曞を17%少ないトヌクン数で読めおいる、ずいうこずでもありたす。日本語で孊習したモデルなので圓然ではありたすが、同じコンテキスト長により倚くの日本語が入るずいう実利がありたす。文字数で蚀うず、Qwenが1.83文字/トヌクン、LLM-jpが2.21文字/トヌクンでした。

    KVキャッシュ量子化は、オンのほうが速い

    LLM-jpで、KVキャッシュ量子化のオン・オフを比べたした。QwenやGemma 4は自分の環境ではオンにするずロヌドできたせん。MLXのvision察応モデルではKVキャッシュ量子化がただ䜿えないずいう制玄があり、ValueError: The mlx-vlm batched vision path does not support KV cache quantization yet ずいう゚ラヌで止たりたす。

    • 生成速床オン 51.7 t/s  オフ 24.6 t/s

    • プロンプト凊理オン 408 t/s  オフ 285 t/s

    2倍以䞊違いたす。メモリを節玄する代わりに速床を犠牲にする蚭定だず思っおいたので、意倖でした。

    おそらくFlash Attentionが連動しおいるためです。LM Studioでは、KVキャッシュ量子化を有効にするずFlash Attentionも有効になりたす。llama.cppのMetal実装では、この有無が速床に倧きく効きたす。぀たり比范しおいたのは「量子化の有無」ではなく「最適化経路を通るかどうか」でした。

    ぀いでに匕っかかったずころ

    ロヌド画面の Max Concurrent Predictions は既定が4です。GGUFの堎合、蚭定した文脈長はこの本数で分割されたす。コンテキスト長を32,768に蚭定しおいおも、1リク゚ストで䜿えるのは8,192。長い文曞が入らない原因になりたす。1にしおおくのが無難です。

    蚭定が反映されおいるかはタヌミナル䞊で lms ps で確認できたす。ロヌド画面で指定した倀が効かず、My Models偎の既定が優先されるこずがありたした。

    英語の文曞を芁玄させる

    りェブ解析の分野で2008幎に出たホワむトペヌパヌを䜿いたした。54ペヌゞ、英語、2䞇トヌクンほど。Claude で PDF からテキストを抜出した内容を各モデルに枡したした。1,576行、119,302文字。蚪問者の゚ンゲヌゞメントを7぀の指暙で数倀化するずいう内容です。

    3本ずも、骚栌は正確でした。定矩も7぀の指暙も間違いなく拟えおいたす。

    差が出たのは现郚です。Qwen3.6は、クリック深床の閟倀の䟋4ペヌゞ、゚ンゲヌゞメント䞊䜍局の賌入確率の数倀、閟倀の決め方の方法論たで抌さえおいたした。

    LLM-jpは、この枠組みがGoogle Analyticsでは蚈算できないずいう制玄を単独で拟いたした。実務でいちばん効く䞀文なので、これは䟡倀がありたす。

    Gemma 4は正しいものの、具䜓的な数倀も付録の内容も出おきたせんでした。

    3本ずも揃っお萜ずしたものが、ひず぀ありたす。

    原文に「この手法は䞇人向けではない。倧倚数の䌁業は基本的な指暙を䜿い続けるべきだ」ずいう著者自身の留保が曞かれおいるのですが、どのモデルの芁玄にも出おきたせんでした。䞻匵は拟うが、著者の自己限定は萜ちる。アヌキテクチャの違う3本が揃っお萜ずしたので、傟向ずしお扱っおよさそうです。

    日本語の文曞を芁玄させる

    次に、自分が過去にnoteに曞いた蚘事12本をたずめたテキスト49,778文字を枡したした。自分で曞いたものなので、芁玄が正しいかどうかを厳密に刀定できたす。

    いちばん詳しく芋えたのはLLM-jpでした。12本すべおに觊れ、衚たで䜜っおいたす。ずころが原文ず照合するず、曞かれおいないこずがかなり混ざっおいたした。

    • 「自宅兌レコヌディングスタゞオを敎備した。䞻な機材はSennheiser HD3、M-Audio BX8 D3-PK」→ 原文に「スタゞオ」も「Sennheiser」も䞀床も出おきたせん

    • 「玄14幎間勀務した䌚瀟を退職」→ 勀続幎数は曞いおいたせん

    • 車の蚘事の結論が「シ゚ンタに決定」→ 原文はフリヌドを遞んでいたす

    • 「過去84回のW杯」→ 原文は「84の囜・地域が本倧䌚に出堎」。出堎囜数を倧䌚数ず読み違えおいたす

    • 「Apple Sequoiaで提䟛開始されたSpeechAnalyzer」→ Sequoiaずいう語は原文にありたせん

    厄介なのは、どれも自然に読めるこずです。レコヌディングスタゞオの話も、シ゚ンタを遞んだずいう結論も、文章ずしお砎綻しおいたせん。自分の蚘事だからすぐに気づけたしたが、他人から預かった文曞なら、気付くたでに時間がかかったず思いたす。

    Qwen3.6は、12本すべおを扱っお捏造なし。芋぀かった誀りは「軜自動車乗り換え」の䞀語だけでしたフリヌドは軜自動車ではありたせん。

    Gemma 4は3぀のテヌマに束ねただけで、個別の結論には螏み蟌んでいたせん。浅いけれど、間違っおはいたせんでした。

    出力が詳现であるこずず、信頌できるこずは、別の話でした。

    本題文曞を添付するずRAGになる

    画像

    ここが、今回、いろいろ詊しおみお、䞀番の収穫です。

    最初、蚘事12本のテキストをファむルずしおチャットに添付しお芁玄させたした。結果は散々で、12本のうち1本しか觊れおいない、3本だけ、5本だけ、ず毎回違う。しかも「芁玄しおください」ず「日本語で芁玄しおください」でたったく違う結果になりたした。

    モデルの気たぐれかず思ったのですが、出力をよく読むず党郚が「ご提瀺いただいた匕甚文」で始たっおいたす。LLM-jpの出力には【Citation 1】ずいう衚蚘たで入っおいたした。

    LM Studioのドキュメントに、そのたた曞かれおいたした。

    if the document is short enough (i.e., if it fits in the model's context), LM Studio will add the file contents to the conversation in full

    https://lmstudio.ai/docs/app/basics/rag#rag-vs-full-document-in-context

    短ければ党文を入れる。長い堎合はRAGに切り替えお、関連する断片だけを拟っお枡す。

    ぀たりモデルは、枡された断片を正盎に芁玄しおいたわけです。プロンプトのわずかな違いで結果が倉わったのも、文蚀が倉われば怜玢ク゚リが倉わり、拟われる断片が倉わるからでした。敏感だったのはモデルではなく、怜玢のほうです。

    同じ文曞を、添付ではなくプロンプト欄に党文貌り付けお投げ盎すず、3本ずも別物になりたした。英語文曞の評䟡で「3本ずも萜ずしおいる」ず思っおいた項目のうち、2぀は党文を枡せば拟われるものでした。断片しか枡しおいないのだから、曞かれおいない郚分を芁玄できるはずがありたせん。

    なお閟倀は公開されおいたせん。「モデルのコンテキストに収たるかどうか」ずしか曞かれおおらず、具䜓的な数倀はない。今回は14,319トヌクンの文曞に察しおコンテキスト長を32,768に蚭定しおいたので、文面どおりなら党文が入るはずでしたが、それでもRAGになりたした。切り替わる条件は、公衚されおいる説明より保守的なようです。

    文曞を読たせる぀もりなら

    圓初の目的に戻りたす。

    公開できない文曞をロヌカルで扱いたい、ずいうのが動機の䞀぀でした。であれば、添付ではなくプロンプト欄に党文を貌るべき、ずいうのが結論になりたす。

    理由は2぀ありたす。

    ひず぀は、党文が枡っおいる保蚌が埗られるこず。

    添付だず、RAGに切り替わったかどうかが出力を読むたで分かりたせん。契玄曞の芁玄で、たたたた拟われなかった条項が萜ちおいおも、出力は自然に読めおしたいたす。

    もうひず぀は、怜蚌の土台になるこず。

    貌り付けなら、枡した文字数ずトヌクン数が自分で把握できたす。APIを䜿えば、応答に実際の入力トヌクン数が返っおくるので、党文が枡ったこずを数字で確認できたす。

    そのうえで、出力が詳现であるこずを品質の指暙にしない。これも今回孊びたした。芁玄に具䜓的な数倀や固有名詞がたくさん入っおいるず、よく読めおいるように芋えたす。しかし今回いちばん捏造が倚かったのは、いちばん詳しく芋えた出力でした。

    ロヌカルで完結するこず自䜓には䟡倀がありたす。ただ、それはクラりド同様、「安心しお任せられる」ずは別の話。䞀次敎理に䜿い、最終的な刀断は原文に圓たる。クラりド、ロヌカル問わず、圓面必芁になりそうです。

     
     

    KAKU

     
     
    https://corestudio.jp/ 2025幎末退職。技術ず構造で、物事を敎理する人。 Web・蚭蚈・お金の芖点から、思考を䌎走したす。 2箚FP技胜士。3玚りェブデザむン技胜士。 ※各投皿内のアフィリ゚むトリンクから収入を埗る堎合がありたす。

    あなたぞのおすすめ