
第2回: Qwen3-8BをMacのAIサーバーにしてみる
前回、M1 #MacBook Air、メモリ16GBのMacに、 #Qwen3 -8B を入れてみました。
#ターミナル から、
mlx_lm.chat --model "Qwen/Qwen3-8B-MLX-4bit"と入力すると、ちゃんとQwenが起動しました。
しかも、質問すると考えて、文章を書いて、コードまで生成してくれる。
M1 Macの中でAIが動いている。
これはなかなか楽しい。
でも、ここで次の疑問が出てきます。
これ、ターミナルからしか使えないの?
せっかく自分のMacで #AI が動いているのだから、ブラウザから使ったり、自分で作ったプログラムから呼び出したりしたくなります。
というわけで、今回はQwenを #AIサーバー にしてみます。
AIサーバーって何?
ここで「サーバー」と聞くと、ちょっと難しそうに感じます。でも今回やることは、それほど難しくありません。
ざっくり言えば、今まで
自分
↓
ターミナル
↓
Qwen3-8B
だったものを、
自分
↓
ブラウザやプログラム
↓
Qwenのサーバー
↓
Qwen3-8B
という形にします。
Qwenに質問を受け付ける窓口を作るというわけです。
そして、その窓口も自分のMacの中に作ります。インターネット上のサーバーを借りるわけではありません。
今回のサーバーは、
自分のMacの中だけで動くサーバーです。
Qwenをサーバーとして起動してみる
前回作ったQwen用の #Python 環境を使います。
まず、ターミナルを開いて、
source ~/qwen-env/bin/activateとします。
ターミナルの先頭に (qwen-env) と表示されればOKです。
そして、今度は chat ではなく server を起動します。
mlx_lm.server --model "Qwen/Qwen3-8B-MLX-4bit"これだけです。すると、
Starting httpd at 127.0.0.1 on port 8080...という表示が出ました。
おお。サーバーが起動した。
127.0.0.1:8080って何?
ここで、127.0.0.1というのと8080という見慣れないものが出てきました。でも、これは難しい話ではないです。
127.0.0.1 は、
このMac自身
を意味する特別なIPアドレス。そして、8080は「ポート番号」。ざっくり言えば、
自分のMacの8080番という入口で、Qwenが待っています
という状態です。イメージとしては、
Mac
┌──────────────────────┐
│ │
│ Qwen3-8B │
│ ↑ │
│ │ │
│ port 8080 │
│ ↑ │
│ │ │
│ 127.0.0.1 │
│ │
└──────────────────────┘です。しかも 127.0.0.1 なので、基本的にはこのMac自身からアクセスするための入口です。外部公開サーバーを作ったわけではありません。
ブラウザで開いてみる
ブラウザを開いて「http://127.0.0.1:8080」にアクセスしてみます。
すると……
#JSONデータ が表示されました。
{"object": "list", "data": [{"id": "Qwen/Qwen3-8B-MLX-4bit", "object": "model", "created": 1786889240}]}
#ChatGPT みたいな画面が出てくるわけではありません。なんだかプログラムっぽい。でも、これでいいんです。
なぜなら、今回起動したのはチャット画面ではなく、AIを呼び出すためのサーバーだからです。
Qwenは「AI API」になった
ここが今回のポイントです。
ターミナルで直接Qwenと会話していたときは、
人間
↓
mlx_lm.chat
↓
Qwen
でした。ところがサーバーにすると、
ブラウザ
プログラム
別のAIツール
↓
HTTPリクエスト
↓
127.0.0.1:8080
↓
Qwen
という構造になります。つまりQwenが、他のプログラムから利用できるAI部品になったわけです。これは結構大きな違いです。
「JSONが出る」だけでも結構すごい
ブラウザにJSONが表示されたとき、
「なんだ、JSONが出ただけか」
と思うかもしれません。でも、ちょっと考えてみてください。今まで #クラウド のAIを使うときは、
自分
↓
インターネット
↓
AI会社のサーバー
↓
AI
という構造でした。それが今は、
自分
↓
自分のMac
↓
Qwen
になったわけです。しかも、このAIに対してHTTP経由でプログラムから質問できる状態になっています。
これはつまり、
「自分のMacの中にAI APIを立てた」
ということなのです。
実際にAPIを叩いてみる
さらに一歩進んでみます。
MLX-LMのサーバーはOpenAI互換のAPIを提供しています。例えば /v1/chat/completions というエンドポイントを利用できます。公式のMLX-LMでも、OpenAIクライアントから http://localhost:8080/v1 を指定して利用する例が公開されています。
つまり、OpenAI APIを利用するようなプログラムから、ローカルで動いているQwenを呼び出せる可能性があるということです。
例えばPythonからなら、こんなイメージになります。
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="Qwen/Qwen3-8B-MLX-4bit",
messages=[
{
"role": "user",
"content": "こんにちは。自己紹介してください。"
}
]
)
print(response.choices[0].message.content)ここまで来ると、かなり面白くなってきます。
自分で書いたPythonプログラムから、自分のMacの中にいるAIに話しかけられる。
ということは……
ここで、さらに欲が出てきます。
せっかくAIサーバーを立ち上げたのだから、
ブラウザで普通のチャット画面として使いたい。
そして、
ChatGPTみたいなUIでQwenと会話したい。
さらに、
会話履歴も保存したい。
そう思って調べてみると、ちゃんとあります。
Open WebUI
Open WebUIを使えば、ローカルで動いているAIモデルに、Webブラウザから使いやすいチャット画面を提供できます。
つまり、
Qwen3-8B
↓
MLX-LM
↓
AI API
↓
Open WebUI
↓
ブラウザ
という構成にできます。ここまで来ると、
「Macの中に自分専用のChatGPTを作ってみる」
という感じになってきます。次回は、いよいよここです。
第3話
Qwen3-8Bをブラウザから使ってみる ― Open WebUI編
M1 Mac 16GBの中に、自分専用のAIチャット環境を作ってみます。
今回のポイント
今回やったことは、実はかなりシンプルです。
① Qwen3-8Bを起動
↓
② MLX-LMをサーバーモードで起動
↓
③ 127.0.0.1:8080で待ち受け
↓
④ ブラウザからアクセス
↓
⑤ JSONが返ってきた
最初は、「JSON出るね」くらいの感想でした。
でも、そのJSONの向こう側には、M1 Macの中で動いているQwen3-8Bがいる。
そう考えると、ちょっと面白くありませんか?
前回は「AIをMacに入れる」でした。
今回は「AIに入口を作る」。
次回は、その入口にちゃんとした部屋を作ります。
AIを自分のMacで飼ってみる。
だんだん、本当に「飼っている」感じになってきました。