メインコンテンツへスキップ
見出し画像

10年前のGTX1080で、ローカルLLMを毎日使っている。2010年のMac Proで出した結論

    最近、グラフィックボードが高いですよね。おまけにメモリも高い。

    RTX 5060 Ti 16GBの最安値は、2026年9月末の時点で約17.7万円です。発売時は10万円を切っていました。同じカードが1年半で7割以上も値上がりしているんです。

    それでもローカルLLMの話題は途切れません。自分のPCでAIを動かせば、月額料金はかからない。データも外に出ない。

    あなたも一度は、自分のPCでAIを動かしてみたいと考えたことはありませんか?

    もちろん私も考えました。しかもかなり本気で。

    この記事は、私がローカルLLMを本格的に導入しようとして、途中で引き返した記録です。

    本気だったからMac Proの役割を入れ替えた

    私は会社と自宅を行き来して仕事をしています。

    会社にはMac Proが2台あります。1台は2010年製のMac Pro 5,1。もう1台は2009年製のマシンで、ファームウェアを書き換えて5,1にしています。

    2026年8月、この2台の役割を入れ替えました。

    1本目の記事で紹介した2010年製のマシンは、今はWindows機として動いています。CPUはXeon X5680のデュアル構成で、メモリは96GB。macOSの役目は2009年製のマシンに回しました。

    狙いはローカルLLMでした。本格的に使うなら、Windows機のハードを少しでも強くしておきたかったんです。

    ただ、同じ5,1同士でも入れ替えは簡単ではありませんでした。ファイルパスなどの設定を直すのに2〜3日。動作確認まで終えるのに1週間ほどかかりました。

    今、このWindows機にはGTX1080(VRAM 8GB)が載っています。接続はPCIe 2.0のx16です。

    画像
    2010年製のMac Pro 5,1に挿したGTX1080

    Windows 11はBoot Campを使わず、ネイティブでインストールしました。ただし5,1のCPUはWindows 11の動作要件を満たしていません。普通の手順ではWindows 11をインストールできないんです。そこでRufusでインストールメディアを作り、要件チェックを回避しました。

    ここはIntel Macがはっきり勝っている所なんですよね。

    Apple Silicon(Mシリーズ)のMacは、Windowsをネイティブで起動できません。仮想マシンの中で動かすしかない。NVIDIAのGPUを挿して使うこともできません。

    Mac ProにNVIDIAのGPUを挿して、CUDAでLLMを動かす。この構成は、Intel Macだからこそできるんです。

    大きいモデルを使いたかった。でもあきらめた

    最初は大きいモデルを使うことを夢見ていました。

    きっかけは、ノートPCを4台つないで80B(800億パラメータ)クラスのモデルを動かす、という事例でした。私の手元にも4台のマシンがあります。メモリを合計すると160GBになります。

    「マシンをつなげば、大きなモデルも動くのでは?」。昔のマイニングリグが頭に浮かびました。

    調べてみました。でも現実的ではありませんでした。

    4台は会社と自宅に2台ずつ分かれています。拠点の間はVPNでつないでいます。モデルを複数のマシンに分けて動かすと、文字を1つ出すたびにマシンの間でデータが行き来します。VPN越しだと、その通信待ちで処理がものすごく遅くなるんです。

    さらに5,1のXeonは、AVXという命令に対応していません。CPUに処理を任せると、もっと遅くなります。

    マシンをつなぐ技術は、1台に載らないから仕方なく分散させるための技術です。でも分散させれば、処理は必ず遅くなります。1台に載るモデルなら、1台で動かすのが正解でした。

    macOS側のMac ProにはVega 56が入っています。こちらにもAIの計算をさせてみました。でも重い計算をさせるとカーネルパニックが起きました。突然、画面が固まるんです。何度やっても結果は同じでした。結局、この案もあきらめました。

    10年前のGPUでどこまで動くのか測った

    「1枚のGTX1080で、どこまでのモデルが動くのか?」。同じ質問を3つのモデルに投げて、速さを測りました。トークンは、モデルが文章を処理するときの単位です。

    画像
    下の数字とは別の回に測った画面。数字は毎回少し変わるが、14Bだけ極端に遅いのは同じだった。
    • Qwen3 8B:33.6トークン/秒(日本語で約51字/秒)

    • Qwen3.5 9B:26.3トークン/秒(日本語で約54字/秒)

    • Qwen3 14B:3.3トークン/秒(日本語で約6字/秒)

    Qwen3.5は、1トークンで出す日本語の字数がQwen3より多いんです。そのためトークンの速度は低くても、字数の速度は高くなります。

    8Bと9Bは、1秒に50字以上を出します。人が文章を読む速さより速い。軽い作業なら十分です。

    14Bになると、速度は8Bの約10分の1しか出ません。とにかく時間がかかります。「これなら、自分で書き直した方が速い」。14BのモデルはVRAMの8GBに収まりません。はみ出した分は、AVXに対応していない2010年のXeonが計算します。

    問題は速さだけではありませんでした。回答の中身も浅いと感じたんです。遅くて、しかも物足りない。14Bを使うのはやめました。

    GTX1080の接続はPCIe 2.0です。モデルの読み込みには15〜25秒ほどかかります。3.0や4.0のマシンでは測っていません。ただし推論中の計算はGPUの中で完結します。そのため、PCIeの世代は速度にほとんど影響しないと言われています。大事なのはPCIeの世代ではなく、モデルがVRAMに収まるかどうかなんです。

    ローカルLLMはClaudeと同じ基準では比べられない

    8Bは速い。でも相談相手として使うには物足りません。

    ローカルLLMは、Claudeと同じ基準では比べられません。使ってみて、それがはっきり分かりました。

    私の使い方だと、ストレスなく相談できる目安は30Bクラスです。それでも30BはClaudeには届かないと思います。30Bで手に入るのは、「Claudeより下、8Bより上」の中間の性能です。

    その中間の性能にも、大きな投資が要ります。私はMシリーズのMacを持っていません。ここからのMacの話は、公開されている価格と仕様から計算したものです。30Bのモデルは、圧縮しても約19GBのメモリが必要です。約17.7万円のRTX 5060 Ti 16GBでも、30Bのモデルは収まりません。Mac mini(M6)は14万9800円からですが、メモリは最大32GBで余裕は少ない。

    メモリ128GBのMac Studio(M5 Max)なら載ります。でも価格は88万7800円です。

    「88万円も出して、何年使えるんだろう?」。最近のMacは、寿命が本当に短いんですよね。

    では、この投資は何年で回収できるのでしょうか。

    Claudeの有料プラン(Pro)は月20ドルです。日本円では税込みで約3,500円になります。
    Mac Studioの88万7800円をこの月額で割ってみます。答えは約254か月。約21年分の月額にあたります。

    しかも30BはClaudeの代わりになりません。Mac Studioを買っても、Claudeの月額はなくならないんです。

    仮に回収できたとしても、そのころには機器は古くなっています。そしてまた機器に投資しないといけません。

    だとすれば、割り切って最新のAIに月額で払う方がいい。これが私の出した結論です。

    大きく投資する道と、Claudeだけに頼る道。私はその間の道を選びました。重い仕事はClaudeに任せて、月額料金を払います。毎日使う軽めのAIは、ローカルLLMにします。

    8GBのGPUなら、市場でもまだ比較的安く買えます。中古のGTX1080は1万円台前半で見つかります。新品のRTX 5060(8GB)でも5万円台から6万円台です。どちらも値段は16GBのカードの約3分の1以下です。

    実際、私は10年前のGTX1080で足りています。これは私の主観ですが、毎日の軽い作業ならこれで十分です。

    それでもローカルLLMは手放さない

    Claudeだけで済ませる道も考えました。それでも小さなローカルLLMは手元に残しています。

    ローカルLLMは、回数を気にせず使えます。文章の整形や言い換えに、毎日何十回も使っています。小さな作業のたびに料金を気にしなくていいんです。

    機密性の問題もあります。仕事の資料には、外に出せないものがあります。ClaudeはAPIで送ったデータを、標準では学習に使いません。それでもデータが自分のマシンの外へ出ることに変わりはありません。外に出せない資料はローカルで処理します。整形や要約なら8Bで足ります。機密性を守るために、高価なGPUは必要ありませんでした。

    そしてローカルLLMは、Claudeが使えなくなったときの保険になります。これは自分の失敗から学びました。

    先日、私はローカルLLMのモデルを比べていました。どのモデルの回答が良いかを、Claude APIに採点させたんです。採点の回数は約550回になりました。

    使ったAPIキーは、毎日の作業で使っているものと同じでした。採点だけでクレジットを使い切ってしまったんです。その結果、毎日使っている機能のうち、Claude APIを使う機能が止まりました。最初は何が起きたのか分かりませんでした。

    ローカルLLMで動いている機能は、止まりませんでした。

    この失敗のあと、2つのルールを決めました。テストや評価にはAPIを使わない。本番で使うAPIは、本番の作業だけに使う。今は20ドル分のクレジットを使っています。

    失敗はもう1つあります。使っていないと思った小さなモデルを削除したら、別のマシンの検索機能が止まりました。そのモデルは、別のマシンから呼ばれていたんです。小さなモデルでも、どこから使われているかを把握しておく必要があります。

    今の私の使い分け

    今は仕事を3つに分けています。

    • 重い仕事(設計、プログラム作り、調べもの): Claude

    • 一部の文章処理: Claude API(クレジットを節約して使う)

    • 軽い仕事(文章の整形、検索キーワードの抜き出し): 10年前のGTX1080で動く8〜9Bのモデル

    文章をコピーして、ボタンを1つ押す。するとローカルLLMが文章を整えて返してくれます。この処理は、会社にあるWindows機のGTX1080が担当しています。私が自宅にいるときも、同じように動きます。

    この仕組みの作り方は、次回以降の記事で書く予定です。

    買う前に手元のPCを見直してほしい

    今、YouTubeやnoteの記事でもローカルLLMは話題になっています。
    最新の機種が出るたびに欲しくなりますよね。私もその一人です。でも、一度立ち止まってほしいんです。

    これからローカルLLMの導入を考えている人は、まず今の自分のPC資産を見直してみてください。手元の機械が使えるかどうかを判断してから、投資や組み直しを考えてほしいと思います。

    使い方は人それぞれで、求めるものも違います。今あるPC資産で十分な場合もあります。投資しても、思うような結果が得られない場合もあります。

    私の場合は、10年前のGPUと2010年のMac Proで十分でした。

    あれだけ調べたのに、答えは最初から手元にあったんです。少し拍子抜けしました。
    遠回りはしましたが、色々と試して出した結論です。なので、この考えは変わりません。

    最新のマシンは魅力的です。最新のOSを使えるメリットも確かにあります。

    ただMac歴20年以上の私から見ると、最近のMac製品はスマートフォンのように「使い捨て」に感じます。拡張性もない。新しいOSが出るのも早すぎる。PCは本来、腰を据えてじっくり使うものだと思うんです。今のMacはその逆で、入れ替えの速さを重視した作りになっています。そこに違和感があります。

    昔の製品にこだわっている時点で、時代遅れと言われればその通りです。それでもジョブズ時代の製品にあったこだわりを、今の製品からはあまり感じないんですよね。

    だからこそ私は、まだIntel MacのMac Pro 5,1を使い続けているのかもしれません。16年前のオンボロの5,1が、今も動いている。そこにジョブズの考え方を感じます。だから私は、まだこのマシンの可能性を探っています。

    この記事が、古いMacやWindowsのPC資産を持っている人の参考になればうれしいです。

     
     

    Hide

     
     
    本業の傍ら、2010年製のMac Pro(5,1)を延命させながら、AI自動化の仕組みを組んでいます。 Mシリーズが速いのは分かっています。 それでも、まだ動くIntel Macを使い続けている人へ向けて書いています。 実際に動かしたものだけを記録します。

    あなたへのおすすめ