
「AIはローカルで使いたい」を自分で試してみた。Mac mini 24GBで作る、自分専用AIサーバーの実践記録
仕事でお客さんにAIの提案をする機会がよくあります。
そこで何度も聞くのが、「AIは使いたい。でも情報を外に出すのはセキュリティが心配なので、できればローカルでやりたい」という声です。
もっともな話だと思います。ところが、そのために具体的なアクションを起こしているかというと、起こしていないケースが非常に多い。
責めるつもりはありません。これまで、自分でAIを動かす環境を作るのは、それなりにハードルが高かったからです。
そのハードルが、少し下がってきたように感じています。きっかけは、Appleから出た新しいMac miniでした。メモリ24GBのモデルを買って、自分専用のAIサーバーとして使い始めています。
結論から言うと、これは買って大正解でした。
まだそこまで深く使い込めているわけではありません。それでも、便利さと可能性の両方をはっきり感じています。
Windows派が、Macを買った理由
私は普段、Windowsを使っています。Macはパソコンとしてほとんど触ったことがなく、使い勝手には正直不安がありました。
それでも買ったのは、ローカルLLM(自分のパソコンの中で動かす大規模言語モデル)を試すなら、今回のMac miniはかなり向いているのではないかと思ったからです。
理由はチップとメモリにあります。新しいMac miniはAI処理を意識した最新のチップを載せていて、メモリは「ユニファイドメモリ」という方式です。
AIを動かすときは、GPU(画像処理用のプロセッサで、AIの計算もこれが得意)が使えるメモリの大きさがとても重要になります。すごく雑に言うと、AIが作業する机の広さです。机が狭いと、大きなモデルは広げることすらできません。
一般的なWindowsのPCでは、GPUは自分専用の小さな机(ビデオメモリ)を持っていて、本体のメモリとは別になっています。ユニファイドメモリは、CPUとGPUが1つの大きな机を共有する仕組みです。本体のメモリを、そのままAIの作業スペースに回せます。

値段はメモリの量で変わり、私が買った24GBのモデルは約18万5,000円でした。高いといえば高い。ただ、挑戦してみる金額としては、なんとか許容できる範囲だと判断しました。実機の表示では、チップはApple M6、SSDは256GBです。
24時間つけっぱなしの「受付係」
使い始めて一番よかったのは、AIの性能よりも、置き方のほうでした。
Mac miniは、24時間電源を入れっぱなしにする使い方も想定されています。音は静かで、本体は机の上に乗る小ささです。つけっぱなしにしておけば、家の中にある自分専用のサーバーとして使えます。
実際に、本体がスリープしない設定と、停電から復旧したら自動で起動する設定にしました。ディスクの暗号化(FileVault)とファイアウォールは有効のままです。
ここで効いてくるのが、前回の記事で紹介したTailscaleです。自分の端末どうしを安全な専用ネットワークでつないで、外出先からでも家の中にいるようにアクセスできるサービスでした。
前回は、Windowsの自宅PCで動かしている自作の読書ツールを、スマホから使う話を書きました。そのとき不便な点として挙げたのが、PCがスリープしていると外から開けないこと、そして接続が https ではなく http になるので、スマホのブラウザで使えない機能があることでした。
Mac miniは、この2つをまとめて解決してくれました。もともとつけっぱなしで使う前提なので、スリープの心配がありません。今回はTailscaleのServe(Macの中のアプリを、Tailscaleでつながった自分の端末にだけ https で届ける機能)を使って、入口も https にしています。Tailscaleとの相性が、ものすごくいいんです。
WindowsのPCやiPhoneは画面とファイルのやりとりだけを担当して、重いAIの計算はMac miniが引き受ける。端末ごとに大きなモデルを入れておく必要がありません。
最初に任せたのは文字起こし
最初にMac miniへ移したのは、Whisper(OpenAIが公開している音声認識AI)による文字起こしです。
これまでは、GTX1080Tiを積んだWindowsのPCでなんとか動かしていました。依存関係(動かすのに必要な部品の組み合わせ)を整えるのがめんどくさかったのも、Macに移した理由のひとつです。
今は、Claudeのデスクトップアプリに「このツールを使いたいのでインストールしてください」と頼めば、それで入ります。
そのままClaudeに、文字起こし用のWeb画面も作ってもらいました。Whisper Deskという名前の画面です。Windowsのブラウザからこれを開いて動画を送ると、Mac miniが文字起こしをして、テキストと字幕ファイル(SRT)を返してくれます。インターネットに公開しているわけではなく、自分の端末からだけ開ける、自分専用のサイトです。
試しに約63分の会議動画を入れたところ、約9分で終わりました。録音時間のおよそ7分の1です。
ただ、速いことと正確なことは別でした。最初の結果には、同じ言葉の繰り返しや不自然な文、日付や専門用語の食い違いが混じっていました。今は、話している区間を先に切り出したり、怪しい区間だけを認識し直したりする処理を足しています。
つまずきはほかにもありました。スマホから開いたら「この端末はまだ許可されていません」と出て、使えなかったんです。今は、新しい端末からのアクセスを、すでに許可済みのMacやWindowsから承認する仕組みにしています。動画のコピーで容量が埋まらないよう、文字起こしが終わった動画を自動で消す処理も入れました。
こう書くと簡単に作れたように見えるかもしれません。実際にやろうとすると、結構めんどくさいです。ただ、そのめんどくさい部分の大半は、今ならClaudeやChatGPTに音声で頼むだけで進みます。
ChatGPTやClaudeの代わりになるのか
次に入れたのが、チャットで使えるAIです。
正直に言うと、AIの能力そのものは、契約して使うChatGPTやClaudeのほうがはるかに上です。そこは比べるまでもありません。
それでも、今のレベルなら、自分のパソコンに入れたAIでもかなりのことができそうだ、というのが実感です。
仕組みは3つの部品に分かれています。料理にたとえると、モデルが料理人、Ollamaが厨房、Open WebUIが注文を受けるカウンターです。Ollamaがモデルを読み込んで動かし、私はブラウザでOpen WebUIのチャット画面を開いて話しかけます。

モデルは、OpenAIが公開しているgpt-oss:20bと、Alibabaが開発したQwen(qwen3.5:9b)の2つを入れました。
どちらを主力にするかは、仕事で使いそうな文書で比べて決めました。架空の会社を設定して、提案書、議事録、仕様書、メール、展示会報告の5つを用意し、それぞれ要約、英訳、情報の抜き出し、分類をやらせています。
おもしろかったのは速度です。1秒あたりに生成する量(トークン/秒)は、gpt-ossが約38、Qwenが約33で、gpt-ossのほうが速い。ところが全20タスクを終えるまでの合計時間は、gpt-ossが152秒、Qwenが102秒で、Qwenのほうが早く終わりました。出力の長さや、考える時間の設定が違うからです。数字の上での速さと、実際に待たされる時間は一致しません。

間違いもしっかり出ました。Qwenは60万円を600万円相当として英訳し、メールの送信日と回答期限を取り違えました。gpt-ossには「社外秘」を逆の意味に訳した例があります。
最終的には、抜き出しの正確さと文章の自然さを重視して、gpt-ossを主力、Qwenを補助にしました。ただ、主力に選んだことと、人のチェックがいらなくなったことは別の話です。
それから、24GBのメモリはOSやほかのアプリとも共有です。モデルを2つに絞り、一度に読み込むのは1つだけ、一度に読ませる文章の長さにも上限を設けています。机が広いといっても、無限ではありません。
「外に出さない」をどう確かめたか
ローカルAIの何よりのメリットは、情報を外部に出さずに、Macの中だけで処理する仕組みを作れることです。私もここが非常に大きいと思っています。
ただ、「ローカルで動かしている」と言うだけでは、本当に外へ出ていないかはわかりません。そこで、設定と実際の通信の両方を確かめました。
設定では、Ollamaは同じMacの中からの接続しか受け付けず、クラウド機能も無効にしています。Open WebUIも、外部のAIへの接続、Web検索、外部ツールとの連携、新しいユーザー登録を止めました。
そのうえで、待機中、外の端末からログインしたとき、外の端末からチャットしたときの3回、OllamaとOpen WebUIがどこと通信しているかを2秒ごとに記録しました。3回とも、Macの外への接続は記録されていません。
もっとも、この観測でわかることには限りがあります。2秒ごとでは、ごく短い通信は見逃すかもしれません。見ているのも、この2つのプログラムだけです。たとえば後から入れた本棚検索アプリは、書名やISBNを外部の書誌サービスに問い合わせています。AIの処理はMacの中でも、アプリのほかの機能は外とつながっている、ということは普通に起こります。

「ローカルだから安全」とひとことで済ませるより、どの情報をどこで処理しているのかを、アプリごとに説明できること。セキュリティを理由にローカルを望むなら、本当に必要なのはこちらのほうです。
1台のMacに、窓口をいくつも
今のMac miniでは、用途の違うアプリが3つ動いています。文字起こしのWhisper Desk、チャットのOpen WebUI、それから本棚検索です。
本棚検索は、Windowsで作っていた蔵書管理のWebアプリをMac miniに移したもので、3,844冊分のデータが入っています。iPhoneのSafariで開いてホーム画面に追加し、「Mac miniに聞く」ボタンから、Mac miniのQwenに本のことを尋ねられるようにしました。
Tailscaleでは、アプリごとに入口の番号(ポート)を分けています。同じ建物に、番号の違う受付窓口がいくつも並んでいるイメージです。新しいアプリを足すときは、すでに使っている窓口の番号とぶつからないかを先に確かめる。地味な手順ですが、これを守ったおかげで、文字起こしを使い続けながら新しいアプリを追加できました。

どの窓口も、Tailscaleでつながった自分の端末からしか開けません。インターネットへの一般公開はしていません。
喋るだけで、自分専用のソフトができる
ここまでの仕組みは、ほとんどAIに頼んで作りました。私はプログラマーではありません。
だからこそ、ぜひおすすめしたいのが、音声入力でAIに指示を出すことです。高いマイクはいりません。安いマイクで十分です。
キーボードで打つのと喋るのとでは、体感がまったく違います。とにかく楽なんです。今のAIは、だらだら喋った内容からでも、ある程度意図を汲んで処理してくれます。
一時期話題になった「バイブコーディング」(雰囲気で指示を出して、AIにコードを書かせるやり方)も、Claude Codeなどがかなり使いやすくなって、プログラマーでなくても本当にできるレベルになりました。しかもそれを、自分のMac miniの上で、自分専用のソフトとして動かせる。これが今の状況です。
とはいえ、全部をAIに任せきりにできたわけではありません。ソフトの導入では、AIの側からうまく実行できず、自分でターミナルを開いて打ち込んだ場面もありました。パスワードなどの認証が必要な操作も自分でやっています。AIが手順を用意して結果を確かめ、私が認証と実行を受け持つ。実際の作業は、そんな分担でした。
まだ終わっていないこと
外付けSSDへのバックアップ(Time Machine)は設定しましたが、初回のバックアップが終わったことや、そこから復元できることはまだ確かめていません。停電のあとに人の手なしで完全に元どおり動くかも未確認です。ディスクを暗号化しているので、再起動したら一度ログインしないと、アプリが立ち上がりません。
文字起こしの精度も、改善したあとに長い会議の全文を確かめたわけではありません。モデルの誤訳もゼロにはなっていない。そういう前提で使っています。
ここから何を載せるか
今の段階は、Open WebUIでGPT-OSSとQwenが自分のMac miniで使えると確認できた、というところです。ここからMac miniに情報をためて、どの処理を中のAIに任せ、どう反映させるかを考えていきます。
買ってまだ数週間ですが、ローカルLLMはセキュリティの面でも、可能性の面でも、非常におもしろいと感じています。
ローカルAIは、もう「いつか誰かが作ってくれるもの」ではありません。18万円ほどのMac miniがあれば、自分で触って確かめられるところまで来ています。
これからも実践を続けて、また気づいたことを書いていきます。
あなたなら、外に出したくない仕事のうち、どれを最初にMac miniに任せますか。