
第5回: Qwen3-8BをPythonから直接動かしてみる
- 割引あり
ここまでの内容で
#MLX -LM #Serverを立てる
/v1/models で確認する
のやり方、意味を学んできました。
今回は、MLX-LM ServerのAPIを経由せず、
PythonからMLX-LMを直接使ってQwen3-8Bを呼び出し
てみます。
現在、qwen-pythonの仮想空間はopenaiをインストールして動かしていますが、ここにmlx-lmもインストールしていきます。
mlx-lmは第1回でqwen-envの仮想空間にもインストールしています。でも、今回は別の仮想空間qwen-pythonなので、こちらにも必要なのです。
行頭に(qwen-python)がついている状況のまま以下を実行してmlx-lmをインストールします。
pip install mlx-lmインストールできたら、qwen.pyを冒頭から書き換えます。