メインコンテンツへスキップ
見出し画像

プライベート LLM 実行マシン構築

    葛藤

    何を買えば自分は満足できるのか?

    • 生成速度欲しい、でかい LLM 動かしたい。

    • CUDA 欲しい。最新の LLM 動かそうとしたり、何なりで、CUDA が求められることが多々ある。Mac の MPS でなんとかなる時もあるけど限定的。

    膠着

    nvidia の H100 が買えるなら、それで済む。しかし気合で用意できる金額を遥かに超える。
    nvidia の GPU で現実的な VRAM は 16 GB。
    64 GB の gpt-oss 120B を動かすには、Mac Studio か Ryzen AI Max+ 395。とはいえ、Mac Studio 買ったら半年くらいパンの耳生活。なのに CUDA は手に入らない。Ryzen AI は決して安いわけじゃないが、今手元にある M1 Max よりおそらく生成速度が遅い(メモリ帯域幅が小さい)。
    買うものを決められない。

    転機

    • あるコミュニティで次のリンクが共有された。

    • gpt-oss 120B が VRAM 5GB 使用量で、25T/s で生成される ?!

    • --cpu-moe、--n-cpu-moe オプションすげー。

    • LM Studio もこのオプションに対応していると追加情報。

    • nvidia のグラフィックボードで自作 PC だ !

    • 最近、ひと桁 B パラメータのモデルで遊んでいて小さなモデルにも可能性を感じるし、Qwen3-30B-A3B-Instruct-2507 もすごく良い。

    • ターゲットは、0 〜 14B くらいのモデルと、MoE モデル。

    購入

    • CPU

      • AMD/Ryzen 5 9600X

        • 41,980 円

      • AMD 最新(9000 シリーズ)のグラフィック有り(グラフィックボードからは映像出力しないから必須)の最廉価モデル

    • CPU クーラー

      • ID-COOLING/FROZN-A400-BLACK

        • 3,220 円

      • コンパクト(90mm ファン)なサイドフロー、TDP180W
        (120mmファンは存在感すごくて、)

    • グラフィックボード

      • MSI/GeForce RTX 5070 Ti 16G GAMING TRIO OC

        • 149,800 円

      • nvidia、VRAM 16GB、メモリ帯域幅 896 GB/s

    • マザーボード

      • MSI/MAG X870 TOMAHAWK WIFI

        • 35,980 円

      • VRM やその他コンデンサなどの品質、ヒートシンクの見た目良し
        (今は不要なのに PCIe 5.0 の罠で予定よりワンランク上に、)

    • 電源

      • MSI/MPG A850GS PCIE5

        • 17,980 円

      • 12V-2x6 コネクター、少し余裕持って 850W、フルモジュラー
        (グラフィックボードとマザーボードが MSI だったので気分で合わせた)

    • メモリー

      • crucial/Crucial Pro 128GB Kit (64GBx2) DDR5-5600 UDIMM

        • 49,980 円

      • 128GB、ヒートシンク

    • SSD

      • crucial/Crucial P310 1TB PCIe Gen4 NVMe 2280 M.2 SSD

        • 7,980 円

      • こだわり無くお得感高いとのことで

    • ケースファン

      • DEEPCOOL/FT14 WH

        • 4,180 円 × 2

      • CORSAIR RS120-R ARGB WHITE Triple Reverse

        • 5,080 円

      • 前者はもっと安くて良かったかも、後者は吸気ファンが足りなかったので追加購入(ついでに光らせたくなった)

    • ケース

      • COOLER MASTER/Cooler Master QUBE 500 Flatpack White

        • 不明

      • ATX マザーボード対応、ATX 対応な割にコンパクト、かわいい見た目 ※ ただし今回買ったものではない

    😬 合計: 320,360 円
    2025年8月29日 秋葉原で購入。税込み。

    画像

    NVIDIA GeForce RTX 5070 Ti SUPER (24GB) がそう遠くない未来に出るかもな噂も聞くから迷うところはあったが、待ってはいられない。最悪、その 8GB の差分が必要なら 5070 Ti 売って、買う。

    構築

    • OS 準備

      • Ubuntu 24.04 Desktop

        • Mac で USB メモリに書き込んでインストール。

        • Server でも良いかと考えたが LM Studio の CLI だけ利用が難しいとの話があり Desktop に。(結局、 Desktop が快適で使っている)

    curl -O https://releases.ubuntu.com/22.04/ubuntu-22.04.3-desktop-amd64.iso
    hdiutil convert -format UDRW -o ubuntu-22.04.3-desktop-amd64.dmg ubuntu-22.04.3-desktop-amd64.iso
    diskutil list
    diskutil unmountDisk /dev/disk4
    sudo dd if=ubuntu-22.04.3-desktop-amd64.dmg of=/dev/rdisk4 bs=1m
    diskutil eject /dev/disk4
    • OS インストール

      • 言語もキーボードも English で。(昔に言語を日本語でインストールしたらいろいろ調子悪かった記憶。キーボードは普段 US だから。)

      • WiFi 接続

      • Interactive installation

      • Default selection

      • サードパーティ・ソフトウェアは入れない。

      • Erase disk and install Ubuntu (Advanced features: None selected)

    • OS 起動

    sudo apt update
    sudo apt upgrade
    • グラフィックボードのドライバやらツールやら

      • 下記の再起動後に MOK なんちゃらのパスワード入力したけど何させられているか分かってない。

      • ※ nvidia 公式のドライバを試したが動かせず。

    sudo apt install nvidia-driver-570-open
    sudo reboot
    • BIOS で、Secure Boot を無効化

      • BIOS/UEFI 設定で Secure Boot → Disabled

      • 有効なままだとグラフィックボードのドライバやツールが動いてくれなかった。

    sudo systemctl reboot --firmware-setup
    • 次のコマンドで、グラフィックボードが認識されていることを確認

    nvidia-smi
    • GPU のモニタリングツール nvtop をインストール

    sudo apt install nvtop
    • curl のインストール

    sudo apt install -y curl
    • Node.js のパッケージ/バージョン管理ツール VOLTA のインストール

    curl https://get.volta.sh | bash
    volta install node
    • CPU のモニタリングツール gtop をインストール

    volta install gtop
    • Python のパッケージ/バージョン管理ツール uv のインストール

    curl -LsSf https://astral.sh/uv/install.sh | sh
    • vim、Tailscale、Docker、LocalSend やらインストール

    sudo apt install vim
    curl -fsSL https://tailscale.com/install.sh | sh
    sudo snap install localsend
    • Ollama のインストール

    curl -fsSL https://ollama.com/install.sh | sh
    • AppImageLauncher のインストール

    sudo apt install libfuse2 appimagelauncher
    • LM Studio のインストール

      • https://lmstudio.ai/ からダウンロード

      • LM Studio のアイコン用画像をどこかで取得

      • AppImage の保存と登録

    mkdir -p ~/AppImages/lm-studio
    mv ~/Downloads/LM-Studio-0.3.24-6-x64.AppImage ~/AppImages/lm-studio/
    chmod +x ~/AppImages/lm-studio/LM-Studio-0.3.24-6-x64.AppImage
    
    mv ~/Downloads/lm-studio.jpg ~/AppImages/lm-studio/
     
    cat <<EOF > ~/.local/share/applications/lm-studio.desktop
    [Desktop Entry]
    Version=1.0
    Type=Application
    Name=LM Studio
    Comment=LM Studio Application
    Exec=/home/high-u/AppImages/lm-studio/LM-Studio-0.3.24-6-x64.AppImage --no-sandbox
    Icon=/home/high-u/AppImages/lm-studio/lm-studio.jpg
    Terminal=false
    EOF
     
    chmod +x ~/.local/share/applications/lm-studio.desktop
     
    sudo reboot
    • 日本語関連と IME のインストール

      • システム全体?は gnome-tweaks で変わったが、Firefox は Firefox の Settings で。

      • Noto Sans CJK JP、Noto Serif CJK JP、Noto Sans Mono CJK JP …

    sudo apt install language-pack-ja
    sudo apt install -y fonts-noto-cjk fonts-noto-color-emoji
    fc-cache -fv
    
    sudo apt install gnome-tweaks
    gnome-tweaks
    
    sudo apt install ibus-mozc
    sudo reboot

    試練

    PC 組み立てとセットアップ

    1. マザーボードの CPU ソケットカバーみたいのを取っちゃったけど、自然に取れるらしい。CPU をロックするレバーが固くて固くてビビる。

    2. CPU クーラーの上下を間違えた。

      • 付属のグリスは 1 回分。慌てて追加購入。

    3. グラフィックボードがなかなか刺さらず、斜めに刺さる。

      • ケースの内側に入るべき爪みたいなのが、PCの外に。

      • ロックボタンがあるのに気づかず、抜けないは、斜めだわで、大慌て。

      • 刺し辛かったのは、グラフィックボードのディスプレイポートに刺さっていたキャップが邪魔をして、とても刺し辛いことが判明。全部抜いて捨てた。

    4. OS インストールはうまくいったが、ドライバー関連をごちゃごちゃインストールしてしまったので、はじめからインストールしようとしたら、インストール途中で、WiFi に接続できない。WiFi 接続の選択肢が選べない。

      • 何度やっても同じ。

      • CMOS クリアやらで出荷時の状態に戻すと解決できるかもとの情報。

      • BIOS 画面で出来るとかボタンがあるとか言うけど、どちらもで発見できず。

      • マザーボード上のボタン電池を取れば初期化できるとの事だが、ボタン電池の上にはヒートシンクが!マザーボードの裏からネジ止めされている。そして、PC は組み立て済み。精神的にキツかった。

      • ボタン電池も取りやすいようにはなっておらず、おっかなびっくり外した。もうやりたくない。

    所感

    • 控えめに言って最高。

    • この体験を得られるなら PC 購入費なんて実質ゼロ円。

    • 楽しすぎて夜しか寝れない。

    今後

    • 多数のモデルで生成速度検証したい。

    • ローカル LLM 用の AI エージェントやら MCP サーバーを作っているでそれらも試していきたい。


    あなたへのおすすめ