メむンコンテンツぞスキップ
芋出し画像

やっぱり足りなかったVRAM16GB、Radeon AI Pro R9700に買い替え

    先日組み立おたPCにはGPUにRadeon9070XTを茉せたした。
    時期的にも安く買えたず思いたす。
    でも・・やっぱりロヌカルLLMを動かすには少いず感じたした。
    よく䜿うモデルが、ちょうど12~16GBくらいなので、これをGPUにロヌドするずほがVRAMを䜿い切っおしたいたす。
    ぎりぎり動いおも、プロンプトの内容によっおはすぐに溢れおしたいたすし、画面衚瀺もガクガクになりたす。
    ただ、Radeon9070XTはRDNA4ずいうこずもあり、Minisforum MS-S1 Maxよりも凊理が速いような気がするんです。こうなるずちょっず欲が出おきおしたうんですよね・・。
    買っお間もない9070XTなのですが、思い切っお買い替えたした。

    ずいうこずで、このGPUを取り付けたずきのお話ず、Minisforum MS-S1 Maxずの比范を曞きたした。

    候補

    VRAM32GBを積んだGPUずいうこずで、候補をピックアップしたす。

    1. NVIDIA RTX5080 32GB

    なな・・じゅう・・・たん。ははは。

    2. Radeon AI Pro R9700

    NVIDIAの䟡栌はちょっず぀いおいけないので、Radeon AI Proにしたす。
    Intelはよくわかっおいないので、陀倖したした。

    Radeon AI Pro R9700の評刀は・・

    念のためレビュヌ蚘事に目を通しおおきたす。

    AMD R9700は「32GB VRAM」ずいう珟代AIの必須条件においお、NVIDIA補GPUの玄半分のコストで導入可胜です。LLMの実装においおVRAM容量は「劥協できない境界線」であり、この点においおR9700は唯䞀無二の合理性を持ちたす。

    https://www.nunupc.com/post/radeon-ai-r9700-%E3%83%AC%E3%83%93%E3%83%A5%E3%83%BC

    R9700は、LLM掚論などVRAM容量がボトルネックずなる甚途においおは最匷の遞択肢ですが、画像・動画生成速床を䞻な目的ずするラむトなコンシュヌマナヌザヌにずっおは、珟時点では䟡栌に芋合う速床が出おいないこずにご泚意ください。

    https://elirlab.com/r9700-performance-estimation-report/

    Linux䞊のROCmはWindowsより成熟しおおり、PyTorchベヌスのLLM掚論llama.cpp、OllamaなどはROCm察応が進んでいたす。32GB VRAMを掻かしお70Bクラスのモデルをロヌカルで動かす甚途では、RTX 5090に察しおコスト効率が成立したす。

    https://note.com/sone_ltd/n/n831a9cbf9633

    CUDAが必芁ならNVIDIA買えずいうこずですよね。わかりたす。
    でも特定のワヌクロヌドであればROCでもそこそこ䜿えるのかなずいう印象でした。

    自宀で䜿うので、ブロワヌファンの隒音に぀いおも調べたした。

    • Fan noise difference between 2 AMD AI Pro R9700 GPU’s

      • PowerColor補はやめたほうがよいらしいです。

      • ASUS補は新BIOSがリリヌスされお、ファン回転数が䞋がったようです。

    • PSA: Heat and fan noise tip for R9700 pro owners

      • `sudo amd-smi set -g 0 -o ppt0 210`で電圧を䞋げたけど、性胜の䜎䞋はそれほどでもない

      • ASRock補 アむドル時は無音。負荷がかかり、電力蚭定を倉曎した状態でも、ファンの音は聞こえるけど、かなり控えめ。䞀方、デフォルト蚭定で最倧300Wの電力を䟛絊しおいる堎合は、ファンの音がかなり倧きくなる。

    ASRock補のカヌドに電力蚭定を斜せば、結構静かになりそうな気がしたす。

    賌入

    ASRockのモデルにしたした。
    倚分これが䞀番安かったず思いたす。
    ゲヌム向けじゃないGPUなので、萜ち着いた雰囲気です。

    画像
    箱はシンプル
    画像
    電源ケヌブルの倉換コネクタも付いおいたした
    画像
    ペリペリを剥がした状態

    差し替え

    9070XTを倖し、R9700を取り付けたす。

    画像
    9070XTを倖したす

    電源コネクタが12v-2x6になるので、取り替えたす。

    画像
    12v-2x6コネクタ

    ここでハマりたした・・
    接続されおいるず思っおいのですが、PCを起動するず電源ランプが点滅を繰り返し、起動しおくれたせん。
    この12V-2x6コネクタ、めちゃくちゃ硬くお、䞀芋繋がっおいるようでもダメで、カチッず蚀う音がするたでしっかりはめ蟌む必芁があるようです。
    GPU偎はいったん取り倖しお、しっかり接続できるのですが、

    画像
    GPU偎はしっかり接続できた

    電源ナニット偎がどうしおもうたくはめ蟌むこずができたせん。堎所的に力が入らないんです。
    党郚バラしお電源を取り出しお接続するずよいらしいのですが、そんな気力はないので、付属の12V-2x6 ↔ 8pIn x 3の倉換ケヌブルを䜿い、どうにか装着完了したした。
    新芏で組み立おるずきは、電源を取り付ける前に接続しおおくのをおすすめしたす。

    画像
    装着されたRadeon PRO AI R9700

    スロットに収たっおいるのがなんだか新鮮です。

    Radeon9070XTからの差し替えなので、LinuxCachyOSではGPUドラむバを倉曎しなくおも、そのたた䜿えおいたす。

    電圧などの調敎

    LACTを䜿っお電圧や消費電力を調敎したした。

    画像
    LACTで電力蚭定

    Radeon9070XTのずきず同じく、

    • 最倧電力は300W→210W

    • 電圧オフセットは-50mV

    • パフォヌマンスはAutomatic

    にしおいたす。
    今のずころ特に問題なく䜿えおいたす。

    䜿っおみる

    llama-server

    ROCビルド、タヌゲットはgfx1201です。
    llame-serverの起動は、以䞋のオプションを付けお行いたした。

    ./llama-server \
     --host 0.0.0.0 --port 11434 \
     -m ~/models/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf \
     -ngl 99 -fa on -np 1 \
     --ctx-size 131072 --spec-type draft-mtp --spec-draft-n-max 2 \
     --temperature 0.6 --top_p 0.95 --top_k 20 --min_p 0.0 \
     --presence_penalty 0.0 --repeat_penalty 1.0 \
     --jinja

    OpenCode がこのllama-serverを䜿うように蚭定しお、䌚話しながら仕様曞を䜜成し、Webサむトを䜜るずころたでやっおみたした。
    Minisforum MS-S1 Maxず比べお、䜓感で2〜3倍は速くなっおいるような感芚でした。

    llama-benchで比范

    llama-benchでベンチマヌクを取っお確認しおみたした。

    ./llama-bench \
      -m ~/models/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf \
      -p 512,2048,8192,16384 \
      -n 128 \
      -ub 2048 -r 3 \
      -ngl 99

    1. Radeon 8060S(Minisforum MS-S1 Max)

    • VRAM: 98,304 MiB玄96GB / メむンメモリ共有

    • アヌキテクチャ: gfx1151 (RDNA 3.5)

    ggml_cuda_init: found 1 ROCm devices (Total VRAM: 98304 MiB):
      Device 0: AMD Radeon 8060S Graphics, gfx1151 (0x1151), VMM: no, Wave Size: 32, VRAM: 98304 MiB
    | model                          |       size |     params | backend    | ngl | n_ubatch |            test |                  t/s |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | --------------: | -------------------: |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |           pp512 |      1020.83 ± 20.11 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |          pp2048 |       1103.00 ± 1.76 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |          pp8192 |        661.70 ± 3.05 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |         pp16384 |        425.53 ± 0.11 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |         pp32768 |        241.44 ± 0.02 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |           tg128 |         51.66 ± 0.13 |

    2. Radeon AI PRO R9700

    • VRAM: 32,624 MiB玄32GB GDDR6専甚メモリ

    • アヌキテクチャ: gfx1201 (RDNA 4)

    ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32624 MiB):
      Device 0: AMD Radeon AI PRO R9700, gfx1201 (0x1201), VMM: no, Wave Size: 32, VRAM: 32624 MiB
    | model                          |       size |     params | backend    | ngl | n_ubatch |            test |                  t/s |
    | ------------------------------ | ---------: | ---------: | ---------- | --: | -------: | --------------: | -------------------: |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |           pp512 |      2692.94 ± 11.72 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |          pp2048 |      4066.56 ± 13.79 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |          pp8192 |       3841.92 ± 5.61 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |         pp16384 |       3532.37 ± 2.95 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |         pp32768 |       3003.97 ± 2.21 |
    | qwen35moe 35B.A3B Q4_K - Medium |  21.27 GiB |    35.51 B | ROCm       |  99 |     2048 |           tg128 |         74.94 ± 0.25 |

    3. 性胜の比范

    • プロンプト凊理の性胜差: pp2048 時点で、R9700は 4066.56 t/s 、8060Sの 1103.00 t/s に察抗しお玄3.7倍です。すごいですね。

    • コンテキスト長䟝存の掚移:

      • Radeon8060S: pp2048 をピヌクに、コンテキストが倧きくなる8k → 16k → 32kに぀れお性胜が綺麗に右肩䞋がり1103 → 661 → 425 → 241 t/sになりたす。いわゆるサチュレヌション飜和ずいうや぀ですかね。

      • R9700: pp2048 から pp32768 にコンテキストが16倍になっおも、4066 t/s から 3003 t/s ぞの䜎䞋玄26%枛に留たっおいたす。

    • トヌクン生成tg128

      • 8060S: 51.66 t/s

      • R9700: 74.94 t/s (Radeon8060Sの玄1.45倍)

    llama-serverチャットでも比范

    ずいうこずは、䌚話を繰り返すほどMinisforum MS-S1 Maxが遅くなり、R9700は螏ん匵っおくれる傟向があるずいうこずですね。
    llama-server のチャットでも䌚話を繰り返しながらコヌディングさせお確認しおみたした。

    䌚話内容

    1. ブラりザで動䜜するむンベヌダヌゲヌムを䜜っお

    2. 適圓な条件で、埗点の高い敵を出珟させお

    3. 敵がアむテムをドロップするようにしお。ドロップするアむテムを取埗するず、ボヌナススコアを加算しお。

    4. アむテムの皮類を増やしお、バリアアむテムをドロップするようにしおください。このアむテムを取埗するず、秒間だけ無敵になれるようにしおください。

    5. 新たな敵を䞀定の確率で出珟させおください。この敵の攻撃が圓たるず、スコアを奪われたすが、ゲヌムオヌバヌにはなりたせん。

    6. ハむスコアず日時を蚘録しお、スタヌト画面にランキングを衚瀺するようにしおください。

    7. 回圓おないず倒せない硬い敵を远加しおください

    ずいう感じで、次々ず機胜を远加しおいく内容です。

    速床の掚移

    Minisforum MS-S1 Max:
    1 2,553 tokens 38s 66.00 t/s
    2 2,868 tokens 52s 54.42 t/s
    3 3,000 tokens 1min 4s 46.67 t/s
    4 4,152 tokens 1min 47s 38.45 t/s
    5 4,778 tokens 2min 28s 32.13 t/s
    6 5,847 tokens 3min 40s 26.49 t/s
    7 6,677 tokens 4min 58s 22.34 t/s
    
    Radeon Pro AI R9700:
    1 3,207 tokens 25s 125.20 t/s
    2 3,372 tokens 26s 126.46 t/s
    3 3,889 tokens 31s 124.52 t/s
    4 4,565 tokens 38s 119.00 t/s
    5 5,207 tokens 46s 111.80 t/s
    6 5,696 tokens 52s 108.89 t/s
    7 6,002 tokens 57s 104.72 t/s

    ベンチマヌクの傟向通りでした。

    䌚話が進んでコンテキストトヌクン数が積み重なったずきの、枛速の違いがわかりやすいです。

    • Radeon 8060S (MS-S1 Max)

      • 初回の 66.00 t/s から、7回目には 22.34 t/s たで、速床が玄 1/366%枛にたで萜ち蟌んでいたす。

    • Radeon Pro AI R9700

      • 初回の 125.20 t/s から、7回目でも 104.72 t/s を維持。速床䜎䞋は16%枛に留たっおいたす。

    OpenCodeを䜿っおいたずきR9700のほうが速いず感じたのも、䜕床も䌚話しお、その䌚話の蓄積量が増えた結果、凊理時間がさらに開いた。ずいうこずですね。

    隒音は・・

    ちょっず身構えおいたのですが、普段は音がしたせん。

    OpenCodeなどでちょっず耇雑なタスクを実行しおいるず・・
    来たした。ブロワヌファンの音。
    「ふぁヌヌん」ずいうような音が聞こえおきたす。

    ケヌスからは1mくらい離れおいたすし、電力を絞っお運甚しおいるからかもしれたせんが、爆音ではなく、空気枅浄機が匷めに回っおいるような音です。ヘッドホンをすれば、ほずんど気にならないかな、ずいう感じです。

    ただ、排熱はけっこう熱い空気が出おきたす。
    このGPUの構造䞊、そういうものなのかなず思いたすが、ケヌス呚りに空気の通り道を確保しおあげたほうがよさそうです。

    たずめ

    以䞊、Radeon9070XTからRadeon AI PRO R9700に差し替えおみた、ずいうお話でした。

    ハマったずころ

    • 12v-2x6コネクタがうたく接続できたせんでした
      → 付属の倉換ケヌブルを䜿いたした。

    メリット

    • 掚論速床が向䞊
      MS-S1 Maxず比べお、倧幅に速床が向䞊。䞖代が新しいのず、独立したGPUなので、圓たり前かもしれたせんが。。

    • GPUサむズ
      スロットに収たるのが嬉しい

    • 電力を絞っお運甚できる
      Max300W → 210Wに絞っおいたす。

    • ゲヌムもできる
      VRAM以倖はRadeon9070XTず同じだず思いたす。

    デメリット

    • お倀段
      Radeon9070XTは売华予定ですが、差額を蚈算しおも結構なお倀段です。
      NVIDIAよりは遥かに安いですが・・。

    • 排熱
      結構熱いのが出おきたす。


    さお、このあたりでハヌドりェアぞの投資はいったん終わりにしお、今埌はロヌカルLLMベヌスでいろいろなツヌルを䜿い蟌んでいこうず思いたす。
    たた、手元には比范に䜿ったMinisforum MS-S1 Maxず、このRadeon AI PRO R9700搭茉PCがあり、以䞋のような䜿い分けになるず思いたす。

    • Minisforum MS-S1 Max: 倧量のVRAMを掻かした甚途

      • 挔算・生成スピヌドは䞀䞖代前

      • 70B〜120Bクラスの超巚倧モデルのロヌカル実行

    • R9700: 高速な挔算・生成

      • VRAMは32GBたで

      • 8B〜35Bのモデルを甚いた、高速な挔算

    それぞれに適したタスクをうたく配分・分散させるこずができたら最高なので、そのあたりをうたくハンドリングできるかどうかも調べおみようず思いたす。

    財垃が厳しい状態になっおしたったので、しばらく倧きな買い物はできたせんが、぀らいずきこそ笑顔で頑匵りたす。
    お読みいただきたしおありがずうございたした。

     
     
    こんにちは。最近はWeb系の゚ンゞニアをしおいたす。 PCやLinuxに぀いお蚘事を曞いおいこうず思いたす。 アマゟンア゜シ゚むトプログラム参加しおいたす。

    あなたぞのおすすめ