メインコンテンツへスキップ
見出し画像

第4回: Qwen3-8BをPythonから呼び出してみる

  • 割引あり

自分で作ったプログラムからローカルAIに話しかける

ここまで来るとちょっと欲が出てきます。

第1回 = M1 Macの中で #Qwen3 -8B が動きました。
第2回 = それを #AIサーバー にしました。
第3回 = Open #WebUI を使ってブラウザからQwenと会話できるようにしました。

じゃあ、このAIを自分のプログラムから呼び出そう

ということで今回は #Python プログラムからQwen3-8Bに質問してみます。

今回もクラウドAIのAPIは使いません。

自分のMacの中だけで完結します。


今回の構成

第3回まででMacの中はこんな状態になっています。

                         Mac
┌──────────────────────────────────────────┐
│                                          │
│  ブラウザ                                 │
│     ↓                                    │
│  Open WebUI                              │
│  localhost:3000                          │
│     ↓                                    │
│  Qwen3-8B                                │
│  MLX-LM                                  │
│  localhost:8080                          │
│     ↑                      │
│  Pythonプログラム ← 今回ここから呼ぶ        │
│                                          │
└──────────────────────────────────────────┘

つまり今回は

Python
↓
http://127.0.0.1:8080/v1
↓
Qwen3-8B

という通信を作ります。Open WebUIを経由しません。

Pythonから直接QwenのAPIを呼びます。


まずQwenのサーバーを起動する

第2回で作ったQwenのサーバー作成のおさらいです。

source ~/qwen-env/bin/activate
mlx_lm.server --model "Qwen/Qwen3-8B-MLX-4bit" --port 8080

#ターミナル に

Starting httpd at 127.0.0.1 on port 8080...

と表示されれば、Qwenのサーバーが起動しています。

ここで大事なのは、このターミナルを閉じないこと。このターミナルではQwenが #AIサーバー として動き続けています。

別のターミナルを開いて、そちらからPythonプログラムを実行します。


Pythonからアクセスしてみる

PythonからWeb APIを呼び出すために、今回は #OpenAI のPythonライブラリを使います。

QwenなのにOpenAIのライブラリ?

と思うかもしれません。

Qwenを動かしている MLX-LM のサーバーはOpenAI互換APIとして動作します。こんな図式です。

Python
↓
OpenAI互換の書式
↓
MLX-LM
↓
Qwen3-8B


Python環境を作る

今回もPython環境を分けておきましょう。

ホームディレクトリで

python3.11 -m venv ~/qwen-python
source ~/qwen-python/bin/activate

とします。ターミナルの先頭に

(qwen-python)

と表示されればOKです。続いて

pip install openai

これでPythonから #OpenAI互換API を利用する準備ができました。


最初のPythonプログラム

例えば qwen.py というファイルを作ります。場所はルートの中にqwen-pythonというフォルダがあればその中に、なければ作ってその中にqwen.pyを作ってください。

 
 
プログラミング好きな音楽家。イラレ、フォトショでイラストを、JavaScript、ASP、PHPを使ってウェブを、Blender、UnReal Engine、Unityを使って3D、2Dを、Final Cut Proを使って映像編集、Logic Proで音楽制作をします。

あなたへのおすすめ