
第4回: Qwen3-8BをPythonから呼び出してみる
- 割引あり
自分で作ったプログラムからローカルAIに話しかける
ここまで来るとちょっと欲が出てきます。
第1回 = M1 Macの中で #Qwen3 -8B が動きました。
第2回 = それを #AIサーバー にしました。
第3回 = Open #WebUI を使ってブラウザからQwenと会話できるようにしました。
じゃあ、このAIを自分のプログラムから呼び出そう
ということで今回は #Python プログラムからQwen3-8Bに質問してみます。
今回もクラウドAIのAPIは使いません。
自分のMacの中だけで完結します。
今回の構成
第3回まででMacの中はこんな状態になっています。
Mac
┌──────────────────────────────────────────┐
│ │
│ ブラウザ │
│ ↓ │
│ Open WebUI │
│ localhost:3000 │
│ ↓ │
│ Qwen3-8B │
│ MLX-LM │
│ localhost:8080 │
│ ↑ │
│ Pythonプログラム ← 今回ここから呼ぶ │
│ │
└──────────────────────────────────────────┘つまり今回は
Python
↓
http://127.0.0.1:8080/v1
↓
Qwen3-8B
という通信を作ります。Open WebUIを経由しません。
Pythonから直接QwenのAPIを呼びます。
まずQwenのサーバーを起動する
第2回で作ったQwenのサーバー作成のおさらいです。
source ~/qwen-env/bin/activate
mlx_lm.server --model "Qwen/Qwen3-8B-MLX-4bit" --port 8080#ターミナル に
Starting httpd at 127.0.0.1 on port 8080...
と表示されれば、Qwenのサーバーが起動しています。
ここで大事なのは、このターミナルを閉じないこと。このターミナルではQwenが #AIサーバー として動き続けています。
別のターミナルを開いて、そちらからPythonプログラムを実行します。
Pythonからアクセスしてみる
PythonからWeb APIを呼び出すために、今回は #OpenAI のPythonライブラリを使います。
QwenなのにOpenAIのライブラリ?
と思うかもしれません。
Qwenを動かしている MLX-LM のサーバーはOpenAI互換APIとして動作します。こんな図式です。
Python
↓
OpenAI互換の書式
↓
MLX-LM
↓
Qwen3-8B
Python環境を作る
今回もPython環境を分けておきましょう。
ホームディレクトリで
python3.11 -m venv ~/qwen-python
source ~/qwen-python/bin/activateとします。ターミナルの先頭に
(qwen-python)
と表示されればOKです。続いて
pip install openaiこれでPythonから #OpenAI互換API を利用する準備ができました。
最初のPythonプログラム
例えば qwen.py というファイルを作ります。場所はルートの中にqwen-pythonというフォルダがあればその中に、なければ作ってその中にqwen.pyを作ってください。