メインコンテンツへスキップ
見出し画像

【RTX5060ti×2】Ollama+Open WebUIのパフォーマンス紹介【2026年9月】

    はじめに

    ローカル環境で画像や動画生成を行う場合は、事実上NVIDIA(CUDA)のGPUカード限定なので、パフォーマンス関連の情報が多いと思いますが、LLM(大規模言語モデル)の場合は選択肢が多く、CUDAの32GB VRAM環境では最安値になるRTX5060ti×2のLLMパフォーマンスが気になっている人は多いと思います。

    また、手法・モデル改良やollama等の実行環境のアップデートでもパフォーマンスは大きく変わるので、定期的に紹介したいと思います。

    ※ ×2とはRTX5060ti(16GB)を二枚という意味です

    現状では、1枚のNVIDIA GPUでVRAM 32GB環境を手に入れるにはRTX5090しか選択肢がなく、RTX5060ti(TDP180W)以外の二枚で構築しようとすればRTX5070ti(TDP300W)等がありますが、電源の問題でも悩むと思います。「普通の家庭ゲーミングPC」のカテゴリで収めるには、

    • (RTX3060 12GB×2=24GB)

    • RTX4060ti 16GB×2=32GB

    • RTX5060ti 16GB×2=32GB

    が現実解だと思います。

    ※ ただし最近の価格高騰で、RTX5060ti 16GBはミドルレンジとは言えない恐ろしい価格になっています… GTX1660tiは発売当時でも3〜4万円程度だったと思います。

    環境

    実行環境です。

    ハード

    • ✅ CPU: Ryzen7 5700x 64GB DDR4-3200

    • ✅ GPU: RTX5060ti 16GB×2(合計32GB VRAM)

    ソフトウェア

    • ✅ 実行OS: Linux Mint 22.3 x86_64

    • ✅ 改造ollama 0.34.4

      • 内部で利用しているllama-server実行時にラッパースクリプトを利用して、denseモデル実行時に「--split-mode tensor」を追加しています。下記記事で紹介しています

      • 同様に、Gemma4 31Bの実行時にMTP(アシスタントモデル)を利用する設定にしています

    ※ LM Studioであれば、split tensorとアシスタントモデルに対応しているので、改造する事なく、GUIで同様の設定、利用する事ができます。

    画像
    LM Studio(--split-mode tensorに相当の設定)

    パフォーマンス

    htmlミニゲームを生成する時のパフォーマンスを比較します。ただしOpen WebUIは、Agentic動作(サブエージェントや複数のタスク実行)に対応しているので、その場合は、最後の生成のパフォーマンスになります。

    画像
    土管ジャンプゲーム

    Qwen3.8-27B-IQ4_XS-3.84bpw.gguf

    最近よく利用しているモデルです。unslothのIQ4_XSよりも、気持ち日本語間違いが少ないような「気がします」。

    32GB VRAMであれば、更に大きなファイルサイズのモデルでも128kコンテキストサイズで利用できますが、スペック上限の256kを利用したいことと、少しだけ(1GB程度)他の作業やディスプレイ用のGPUメモリを残したいのでIQ4_XSサイズのものを利用しています。

    • ✅ 並列化手法

      • --split-mode tensor

    • ✅ MTPパラメータ

      • PARAMETER draft_num_predict 2(ollamaモデルファイル)

    • ✅ KVキャッシュの量子化

      • Q8_0

      • ollamaを再起動しなくても良いように、上述のラッパースクリプトでモデルごとに制御しています。

      • --cache-type-k q8_0 --cache-type-v q8_0

    画像
    68.59 token/s

    gemma-4-31B-it-qat-UD-Q4_K_XL.gguf

    Unslothモデルです。Google公式qatモデルよりも少しサイズが小さいです。

    LLMとしての総合力は最新のQwen3.8 27Bの方がより優秀ですが、日本語に関してはGemma4がローカル最強です。

    32GB VRAM環境ではコンテキストサイズ128kはギリギリになるので、96kで運用しています。

    • ✅ 並列化手法

      • --split-mode tensor

    • ✅ MTPパラメータ

      • --spec-draft-n-max 4

      • ドラフトモデルも同時に指定する必要があります。

      • --model-draft mtp-gemma-4-31B-it.gguf

    • ✅ KVキャッシュの量子化

      • --cache-type-k q8_0 --cache-type-v q8_0

    画像
    75.2 token/s

    gemma-4-26B-A4B-it-UD-Q4_K_M.gguf

    Unslothモデルです。qatよりもQ4_K_Mの方がかなり優秀な気がします。

    Gemma 26Bは多くのゲーミングPCユーザーにおすすめモデルです。全体は26Bですが、実際に動作するパラメータ規模は4Bなので、たとえVRAMが8Gや12Gだったとしても、メモリが十分(32GB等)ならば、CPUとハイブリッド利用する事で、30〜50 token/sを超える速度を達成できます。

    RTX5060ti 16GB×2環境であれば、KVキャッシュ量子化はf16のまま、フルスペック256kのコンテキストサイズを利用できます。

    ※ ローカルLLMは、IT技術者が利用する事が多いので、(コーディング用途として)Qwen系がより好まれる事が多いのですが、それ以外の日本語用途ではGemma4の方が良いと思います。denseモデルのQwen3.8 27Bよりも、日本語用途であればGemma4 26B A4Bが大きく優れています

    ※ split-tensorやMTPを有効にしても大きく変わらないので、両者ともOFFにしています。むしろ遅くなる事もあります

    ※ GPU利用率が極端に低くなるので、典型手的なボトルネック(CUDAメモリ帯域)になっていると思います。基本的にdense版等の「重い」モデルはCUDAの素の演算力が先にボトルネックになるので、ミドルレンジGPUではCUDAのメモリ帯域幅はあまり影響しません。しかし、4B等の軽いモデルでは大きく影響するようです。しかし、十分速いので、あまり気になりません

    画像
    78.42 token/s

    Ornith-1.5-35B-A3B-Q4_K_M(Qwen3.6 35B)

    Qwen3.6のカスタムモデルOrnith-1.5 35Bです。

    MoEモデルなので、Gemma4 26Bと同様に多くのゲーミングPCで高速に動作します。

    また、MTPを有効にすると高速化するため、GPU利用率は非常に低いの(半分以下)ですが、140 token/sと超高速で生成できます。split tensorは利用しません。

    • ✅ MTPパラメータ

      • PARAMETER draft_num_predict 2

    • ✅ KVキャッシュの量子化

      • --cache-type-k q8_0 --cache-type-v q8_0

      • 同じ量子化であればファイルサイズがgemma4 26Bよりも大きくなることもあり、コンテキストサイズ256k運用するには量子化する必要がありました。

    画像
    140.85 token/s

    まとめ

    • ✅ Qwen3.8 27B

      • 68.59 token/s

    • ✅ Gemma4 31B

      • 75.2 token/s

    • ✅ Gemma4 26B A4B

      • 78.42 token/s

    • ✅ Ornith-1.5 35B A3B

      • 140.85 token/s

    もちろん、最速に拘るのであれば、llama-serverを直接利用した方がさらに高速になりまが、

    ollamaサーバーとして一元管理すると、ollamaクライアントがスムーズに利用できます。Hermes Agent、ComfyUIなど、他のクライアントを利用する時にタイミングを気にする必要がなくなります。(他のollamaクライアント処理が終わるまで待ってくれます)

    特に、家庭のゲーミングPCで様々なモデルを『取っ替え引っ替え』する必要のある場合は重宝すると思います。(ただし筆者のようにdenseモデルをマルチGPUで利用する場合は、split tensorが必須になるので、改造する必要のある非対応のollamaは問題ですが)

    またLM Studioでも、ほぼ同じパフォーマンス結果になっています。

    以下、関連する記事の【PR】です。

     
     
    3Dアート作品や3Dモデルデータも扱っています。最近は専らAIを利用した作品が多いです。 ※ BOOTHにて各種販売も行なっております。 https://lit.link/catappart3d

    あなたへのおすすめ