メインコンテンツへスキップ
見出し画像

新しいMac miniでローカルLLMを動かしてみた

    Mac miniが届いた日、巨大なAIが机の上で動き始めた

    今日、Mac miniが届いた。カリフォルニアから来たのかと思ったけどよく見たら上海からでした。

    セットアップを済ませて、さっそくAIと話し始めた。最初に調べてもらったのは、このMac自身の仕様だ。

    Apple M6チップ。CPUは12コアで、内訳はSuperコアが2つ、Performanceコアが4つ、Efficiencyコアが6つ。メモリは32GB。macOSは27.2だった。

    数字を見ると、いろいろできそうな気がする。

    初日からローカルLLMを入れることにした。

    きっかけは、昨夜WindowsのPCで試していた「Strata」というAIツールだった。

    普段使っているWindows機には、RTX 5060 Tiの16GB版を積み、メモリは32GB。そのPCで、Strataを使ってQwen3.8という大きな言語モデルを動かす実験をしていた。

    Strataは、自分のPC上でLLMを動かすための実行環境だ。GPUやメモリに収まりきらないモデルの一部をストレージから読み出しながら動かせる。

    今回選んだのは、Qwen3.8-Flash-NextのQ2_0という量子化版。モデルだけで約66GBある。

    メモリ32GBのMacに、約66GBのモデルを入れる。

    数字だけ聞くと無理そうだが、全部をメモリに載せず、内蔵SSDも使って動かす。その仕組みを、新しいMacでも試してみたかった。

    MacにCodexからStrataを導入してもらった。

    そして、Strataが動いた。

    今日届いたMac miniで、Qwen3.8が応答するところまで進められた。

    速度の比較は、まだこれからだ。昨夜のWindows機より速いのか、長い文章を渡したらどうなるのか。そこは実際に同じ条件で試したい。

    まずは「このMacでも動く」と確認できた。それが今日の成果だった。

    メインメモリはM6の32GB上限で仕方ないが、SSDは512GBにしておけばよかったと後悔。ここに記録しておく。


    画像
    これはwindows11からブラウザでmacのstrataにアクセスしているところです
     
     
    KnitMom@AIart|にっとまむです。AIと一緒に、成熟した女性の魅力と優しいロマンスを描く個人クリエイター。イラスト・漫画・音楽・MVを制作しています。noteでは、創作の試行錯誤や小さな事業の経営、AIと暮らす未来への思いを綴ります。

    あなたへのおすすめ