メインコンテンツへスキップ
見出し画像

第2回: Qwen3-8BをMacのAIサーバーにしてみる

    前回、M1 #MacBook Air、メモリ16GBのMacに、 #Qwen3 -8B を入れてみました。

    #ターミナル から、

    mlx_lm.chat --model "Qwen/Qwen3-8B-MLX-4bit"

    と入力すると、ちゃんとQwenが起動しました。

    しかも、質問すると考えて、文章を書いて、コードまで生成してくれる。

    M1 Macの中でAIが動いている。

    これはなかなか楽しい。

    でも、ここで次の疑問が出てきます。

    これ、ターミナルからしか使えないの?

    せっかく自分のMacで #AI が動いているのだから、ブラウザから使ったり、自分で作ったプログラムから呼び出したりしたくなります。

    というわけで、今回はQwenを #AIサーバー にしてみます。


    AIサーバーって何?

    ここで「サーバー」と聞くと、ちょっと難しそうに感じます。でも今回やることは、それほど難しくありません。

    ざっくり言えば、今まで

    自分
    ↓
    ターミナル
    ↓
    Qwen3-8B

    だったものを、

    自分
    ↓
    ブラウザやプログラム
    ↓
    Qwenのサーバー
    ↓
    Qwen3-8B

    という形にします。

    Qwenに質問を受け付ける窓口を作るというわけです。

    そして、その窓口も自分のMacの中に作ります。インターネット上のサーバーを借りるわけではありません。

    今回のサーバーは、

    自分のMacの中だけで動くサーバーです。


    Qwenをサーバーとして起動してみる

    前回作ったQwen用の #Python 環境を使います。

    まず、ターミナルを開いて、

    source ~/qwen-env/bin/activate

    とします。

    ターミナルの先頭に (qwen-env) と表示されればOKです。

    そして、今度は chat ではなく server を起動します。

    mlx_lm.server --model "Qwen/Qwen3-8B-MLX-4bit"

    これだけです。すると、

    Starting httpd at 127.0.0.1 on port 8080...

    という表示が出ました。

    おお。サーバーが起動した。


    127.0.0.1:8080って何?

    ここで、127.0.0.1というのと8080という見慣れないものが出てきました。でも、これは難しい話ではないです。

    127.0.0.1 は、

    このMac自身

    を意味する特別なIPアドレス。そして、8080は「ポート番号」。ざっくり言えば、

    自分のMacの8080番という入口で、Qwenが待っています

    という状態です。イメージとしては、

    Mac
    ┌──────────────────────┐
    │                      │
    │   Qwen3-8B           │
    │       ↑              │
    │       │              │
    │   port 8080          │
    │       ↑              │
    │       │              │
    │   127.0.0.1          │
    │                      │
    └──────────────────────┘

    です。しかも 127.0.0.1 なので、基本的にはこのMac自身からアクセスするための入口です。外部公開サーバーを作ったわけではありません。


    ブラウザで開いてみる

    ブラウザを開いて「http://127.0.0.1:8080」にアクセスしてみます。

    すると……

    #JSONデータ が表示されました。

    {"object": "list", "data": [{"id": "Qwen/Qwen3-8B-MLX-4bit", "object": "model", "created": 1786889240}]}

    「あれ?」

    #ChatGPT みたいな画面が出てくるわけではありません。なんだかプログラムっぽい。でも、これでいいんです。

    なぜなら、今回起動したのはチャット画面ではなく、AIを呼び出すためのサーバーだからです。


    Qwenは「AI API」になった

    ここが今回のポイントです。

    ターミナルで直接Qwenと会話していたときは、

    人間
    ↓
    mlx_lm.chat
    ↓
    Qwen

    でした。ところがサーバーにすると、

    ブラウザ
    プログラム
    別のAIツール
    ↓
    HTTPリクエスト
    ↓
    127.0.0.1:8080
    ↓
    Qwen

    という構造になります。つまりQwenが、他のプログラムから利用できるAI部品になったわけです。これは結構大きな違いです。


    「JSONが出る」だけでも結構すごい

    ブラウザにJSONが表示されたとき、

    「なんだ、JSONが出ただけか」

    と思うかもしれません。でも、ちょっと考えてみてください。今まで #クラウド のAIを使うときは、

    自分
    ↓
    インターネット
    ↓
    AI会社のサーバー
    ↓
    AI

    という構造でした。それが今は、

    自分
    ↓
    自分のMac
    ↓
    Qwen

    になったわけです。しかも、このAIに対してHTTP経由でプログラムから質問できる状態になっています。

    これはつまり、

    「自分のMacの中にAI APIを立てた」

    ということなのです。


    実際にAPIを叩いてみる

    さらに一歩進んでみます。

    MLX-LMのサーバーはOpenAI互換のAPIを提供しています。例えば /v1/chat/completions というエンドポイントを利用できます。公式のMLX-LMでも、OpenAIクライアントから http://localhost:8080/v1 を指定して利用する例が公開されています。

    つまり、OpenAI APIを利用するようなプログラムから、ローカルで動いているQwenを呼び出せる可能性があるということです。

    例えばPythonからなら、こんなイメージになります。

    from openai import OpenAI
    
    client = OpenAI(
        base_url="http://127.0.0.1:8080/v1",
        api_key="not-needed"
    )
    
    response = client.chat.completions.create(
        model="Qwen/Qwen3-8B-MLX-4bit",
        messages=[
            {
                "role": "user",
                "content": "こんにちは。自己紹介してください。"
            }
        ]
    )
    
    print(response.choices[0].message.content)

    ここまで来ると、かなり面白くなってきます。

    自分で書いたPythonプログラムから、自分のMacの中にいるAIに話しかけられる。


    ということは……

    ここで、さらに欲が出てきます。

    せっかくAIサーバーを立ち上げたのだから、

    ブラウザで普通のチャット画面として使いたい。

    そして、

    ChatGPTみたいなUIでQwenと会話したい。

    さらに、

    会話履歴も保存したい。

    そう思って調べてみると、ちゃんとあります。

    Open WebUI

    Open WebUIを使えば、ローカルで動いているAIモデルに、Webブラウザから使いやすいチャット画面を提供できます。

    つまり、

    Qwen3-8B
    ↓
    MLX-LM
    ↓
    AI API
    ↓
    Open WebUI
    ↓
    ブラウザ

    という構成にできます。ここまで来ると、

    「Macの中に自分専用のChatGPTを作ってみる」

    という感じになってきます。次回は、いよいよここです。

    第3話

    Qwen3-8Bをブラウザから使ってみる ― Open WebUI編

    M1 Mac 16GBの中に、自分専用のAIチャット環境を作ってみます。


    今回のポイント

    今回やったことは、実はかなりシンプルです。

    ① Qwen3-8Bを起動
    ↓
    ② MLX-LMをサーバーモードで起動
    ↓
    ③ 127.0.0.1:8080で待ち受け
    ↓
    ④ ブラウザからアクセス
    ↓
    ⑤ JSONが返ってきた

    最初は、「JSON出るね」くらいの感想でした。

    でも、そのJSONの向こう側には、M1 Macの中で動いているQwen3-8Bがいる。

    そう考えると、ちょっと面白くありませんか?

    前回は「AIをMacに入れる」でした。

    今回は「AIに入口を作る」。

    次回は、その入口にちゃんとした部屋を作ります。

    AIを自分のMacで飼ってみる。

    だんだん、本当に「飼っている」感じになってきました。

     
     
    プログラミング好きな音楽家。イラレ、フォトショでイラストを、JavaScript、ASP、PHPを使ってウェブを、Blender、UnReal Engine、Unityを使って3D、2Dを、Final Cut Proを使って映像編集、Logic Proで音楽制作をします。

    あなたへのおすすめ