
プライベート LLM 実行マシン構築
葛藤
何を買えば自分は満足できるのか?
生成速度欲しい、でかい LLM 動かしたい。
CUDA 欲しい。最新の LLM 動かそうとしたり、何なりで、CUDA が求められることが多々ある。Mac の MPS でなんとかなる時もあるけど限定的。
膠着
nvidia の H100 が買えるなら、それで済む。しかし気合で用意できる金額を遥かに超える。
nvidia の GPU で現実的な VRAM は 16 GB。
64 GB の gpt-oss 120B を動かすには、Mac Studio か Ryzen AI Max+ 395。とはいえ、Mac Studio 買ったら半年くらいパンの耳生活。なのに CUDA は手に入らない。Ryzen AI は決して安いわけじゃないが、今手元にある M1 Max よりおそらく生成速度が遅い(メモリ帯域幅が小さい)。
買うものを決められない。
転機
あるコミュニティで次のリンクが共有された。
gpt-oss 120B が VRAM 5GB 使用量で、25T/s で生成される ?!
--cpu-moe、--n-cpu-moe オプションすげー。
LM Studio もこのオプションに対応していると追加情報。
nvidia のグラフィックボードで自作 PC だ !
最近、ひと桁 B パラメータのモデルで遊んでいて小さなモデルにも可能性を感じるし、Qwen3-30B-A3B-Instruct-2507 もすごく良い。
ターゲットは、0 〜 14B くらいのモデルと、MoE モデル。
購入
CPU
AMD/Ryzen 5 9600X
41,980 円
AMD 最新(9000 シリーズ)のグラフィック有り(グラフィックボードからは映像出力しないから必須)の最廉価モデル
CPU クーラー
ID-COOLING/FROZN-A400-BLACK
3,220 円
コンパクト(90mm ファン)なサイドフロー、TDP180W
(120mmファンは存在感すごくて、)
グラフィックボード
MSI/GeForce RTX 5070 Ti 16G GAMING TRIO OC
149,800 円
nvidia、VRAM 16GB、メモリ帯域幅 896 GB/s
マザーボード
MSI/MAG X870 TOMAHAWK WIFI
35,980 円
VRM やその他コンデンサなどの品質、ヒートシンクの見た目良し
(今は不要なのに PCIe 5.0 の罠で予定よりワンランク上に、)
電源
MSI/MPG A850GS PCIE5
17,980 円
12V-2x6 コネクター、少し余裕持って 850W、フルモジュラー
(グラフィックボードとマザーボードが MSI だったので気分で合わせた)
メモリー
crucial/Crucial Pro 128GB Kit (64GBx2) DDR5-5600 UDIMM
49,980 円
128GB、ヒートシンク
SSD
crucial/Crucial P310 1TB PCIe Gen4 NVMe 2280 M.2 SSD
7,980 円
こだわり無くお得感高いとのことで
ケースファン
DEEPCOOL/FT14 WH
4,180 円 × 2
CORSAIR RS120-R ARGB WHITE Triple Reverse
5,080 円
前者はもっと安くて良かったかも、後者は吸気ファンが足りなかったので追加購入(ついでに光らせたくなった)
ケース
COOLER MASTER/Cooler Master QUBE 500 Flatpack White
不明
ATX マザーボード対応、ATX 対応な割にコンパクト、かわいい見た目 ※ ただし今回買ったものではない
😬 合計: 320,360 円
2025年8月29日 秋葉原で購入。税込み。

NVIDIA GeForce RTX 5070 Ti SUPER (24GB) がそう遠くない未来に出るかもな噂も聞くから迷うところはあったが、待ってはいられない。最悪、その 8GB の差分が必要なら 5070 Ti 売って、買う。
構築
OS 準備
Ubuntu 24.04 Desktop
Mac で USB メモリに書き込んでインストール。
Server でも良いかと考えたが LM Studio の CLI だけ利用が難しいとの話があり Desktop に。(結局、 Desktop が快適で使っている)
curl -O https://releases.ubuntu.com/22.04/ubuntu-22.04.3-desktop-amd64.iso
hdiutil convert -format UDRW -o ubuntu-22.04.3-desktop-amd64.dmg ubuntu-22.04.3-desktop-amd64.iso
diskutil list
diskutil unmountDisk /dev/disk4
sudo dd if=ubuntu-22.04.3-desktop-amd64.dmg of=/dev/rdisk4 bs=1m
diskutil eject /dev/disk4OS インストール
言語もキーボードも English で。(昔に言語を日本語でインストールしたらいろいろ調子悪かった記憶。キーボードは普段 US だから。)
WiFi 接続
Interactive installation
Default selection
サードパーティ・ソフトウェアは入れない。
Erase disk and install Ubuntu (Advanced features: None selected)
OS 起動
sudo apt update
sudo apt upgradeグラフィックボードのドライバやらツールやら
下記の再起動後に MOK なんちゃらのパスワード入力したけど何させられているか分かってない。
※ nvidia 公式のドライバを試したが動かせず。
sudo apt install nvidia-driver-570-open
sudo rebootBIOS で、Secure Boot を無効化
BIOS/UEFI 設定で Secure Boot → Disabled
有効なままだとグラフィックボードのドライバやツールが動いてくれなかった。
sudo systemctl reboot --firmware-setup次のコマンドで、グラフィックボードが認識されていることを確認
nvidia-smiGPU のモニタリングツール nvtop をインストール
sudo apt install nvtopcurl のインストール
sudo apt install -y curlNode.js のパッケージ/バージョン管理ツール VOLTA のインストール
curl https://get.volta.sh | bash
volta install nodeCPU のモニタリングツール gtop をインストール
volta install gtopPython のパッケージ/バージョン管理ツール uv のインストール
curl -LsSf https://astral.sh/uv/install.sh | shvim、Tailscale、Docker、LocalSend やらインストール
sudo apt install vim
curl -fsSL https://tailscale.com/install.sh | sh
sudo snap install localsendOllama のインストール
curl -fsSL https://ollama.com/install.sh | shAppImageLauncher のインストール
sudo apt install libfuse2 appimagelauncherLM Studio のインストール
https://lmstudio.ai/ からダウンロード
LM Studio のアイコン用画像をどこかで取得
AppImage の保存と登録
mkdir -p ~/AppImages/lm-studio
mv ~/Downloads/LM-Studio-0.3.24-6-x64.AppImage ~/AppImages/lm-studio/
chmod +x ~/AppImages/lm-studio/LM-Studio-0.3.24-6-x64.AppImage
mv ~/Downloads/lm-studio.jpg ~/AppImages/lm-studio/
cat <<EOF > ~/.local/share/applications/lm-studio.desktop
[Desktop Entry]
Version=1.0
Type=Application
Name=LM Studio
Comment=LM Studio Application
Exec=/home/high-u/AppImages/lm-studio/LM-Studio-0.3.24-6-x64.AppImage --no-sandbox
Icon=/home/high-u/AppImages/lm-studio/lm-studio.jpg
Terminal=false
EOF
chmod +x ~/.local/share/applications/lm-studio.desktop
sudo reboot日本語関連と IME のインストール
システム全体?は gnome-tweaks で変わったが、Firefox は Firefox の Settings で。
Noto Sans CJK JP、Noto Serif CJK JP、Noto Sans Mono CJK JP …
sudo apt install language-pack-ja
sudo apt install -y fonts-noto-cjk fonts-noto-color-emoji
fc-cache -fv
sudo apt install gnome-tweaks
gnome-tweaks
sudo apt install ibus-mozc
sudo rebootFirefox の翻訳の拡張
LLM 関連は必要になったときに。
試練
PC 組み立てとセットアップ
マザーボードの CPU ソケットカバーみたいのを取っちゃったけど、自然に取れるらしい。CPU をロックするレバーが固くて固くてビビる。
CPU クーラーの上下を間違えた。
付属のグリスは 1 回分。慌てて追加購入。
グラフィックボードがなかなか刺さらず、斜めに刺さる。
ケースの内側に入るべき爪みたいなのが、PCの外に。
ロックボタンがあるのに気づかず、抜けないは、斜めだわで、大慌て。
刺し辛かったのは、グラフィックボードのディスプレイポートに刺さっていたキャップが邪魔をして、とても刺し辛いことが判明。全部抜いて捨てた。
OS インストールはうまくいったが、ドライバー関連をごちゃごちゃインストールしてしまったので、はじめからインストールしようとしたら、インストール途中で、WiFi に接続できない。WiFi 接続の選択肢が選べない。
何度やっても同じ。
CMOS クリアやらで出荷時の状態に戻すと解決できるかもとの情報。
BIOS 画面で出来るとかボタンがあるとか言うけど、どちらもで発見できず。
マザーボード上のボタン電池を取れば初期化できるとの事だが、ボタン電池の上にはヒートシンクが!マザーボードの裏からネジ止めされている。そして、PC は組み立て済み。精神的にキツかった。
ボタン電池も取りやすいようにはなっておらず、おっかなびっくり外した。もうやりたくない。
所感
控えめに言って最高。
この体験を得られるなら PC 購入費なんて実質ゼロ円。
楽しすぎて夜しか寝れない。
今後
多数のモデルで生成速度検証したい。
ローカル LLM 用の AI エージェントやら MCP サーバーを作っているでそれらも試していきたい。