メインコンテンツへスキップ
見出し画像

Minisforum MS-S1 Max: LMStudioをサーバーモードで使ってみる

    去年入手したMinisforum MS-S1 Max(Ubuntu)で、LLMサーバーを立ち上げて、他のPCから使ってみようと思います。

    セットアップしたときの記事はこちらです:

    普通に考えたらChatGPTとかGeminiを使うのがよいと思いますが、外に情報を漏らしたくないような状況や、利用料を気にせず使いたい場合には、自前で運用したほうがよいかなと思います。
    やり方はいくつかあると思いますが、手軽さを優先してLMStudioを使いました。


    LMStudioのインストール

    まずはlibfuse2をインストールします。

    sudo apt update
    sudo apt install libfuse2

    LMStudioはこちらから。

    インストールは以下の記事を参考にしました。

    sudo mkdir -p /opt/LMStudio
    sudo install -m 755 LM-Studio-0.3.10-6-x64.AppImage /opt/LMStudio/LM_Studio.AppImage
    sudo wget https://avatars.githubusercontent.com/u/133744619 -O /usr/share/icons/lmstudio.png
    cat > ~/.local/share/applications/lmstudio.desktop << "EOF"
    [Desktop Entry]
    Name=LM Studio
    Comment=LM Studio Launcher
    Exec=/opt/LMStudio/LM_Studio.AppImage --no-sandbox
    Icon=/usr/share/icons/lmstudio.png
    Terminal=false
    Type=Application
    Categories=Development;
    EOF

    まずは普通に起動して、モデルをダウンロードします。
    設定から言語を日本語にしました。

    画像
    LMStudio起動

    モデルはgpt-oss-20Bと120Bをダウンロードしておきました。
    RuntimeはデフォルトのVulkan llama.cpp(Linux)です。
    rocm llama.cpp(Linux) v1.102.0も試してみたのですが、以下のエラーが発生していて使えませんでした。

    rocBLAS error: Cannot read /home/***/.lmstudio/extensions/backends/vendor/linux-llama-rocm-vendor-v3/rocblas/library/TensileLibrary.dat: Illegal seek for GPU arch : 

    このマシンのGPU(gfx1151)のファイルが見当たらないようです。
    Rocm環境はPytorchを動かすときに構築したのですが、

    LMStudioのランタイム側にはまだgfx1151のファイルがないということですかね。そのうち使えるようになったら試してみようと思います。


    サーバーモードを有効化する

    「開発者」→「Server Settings」を開き、「ローカルネットワークで提供」をONにします。
    Status: Runningになっていない場合は、ここもONにします。

    画像
    サーバーモード

    これでサーバーモードになりました。楽すぎます。

    動作を確認

    別のマシンからつついてみます。
    まずはモデルの一覧を取得してみます。

    curl http://{LMStudioが動いているマシンのIP}:{ポート番号}/v1/models

    レスポンスが返ってきました。

    {
      "data": [
        {
          "id": "openai/gpt-oss-120b",
          "object": "model",
          "owned_by": "organization_owner"
        },
        {
          "id": "openai/gpt-oss-20b",
          "object": "model",
          "owned_by": "organization_owner"
        },
        {
          "id": "text-embedding-nomic-embed-text-v1.5",
          "object": "model",
          "owned_by": "organization_owner"
        }
      ],
      "object": "list"
    }

    動いているようです。
    次に、簡単な質問を投げてみます。

    curl -X POST http://192.168.1.13:1234/v1/chat/completions \                                                      ✔
         -H "Content-Type: application/json" \
         -d '{
               "model": "openai/gpt-oss-20b",
               "messages": [
                 {"role":"system","content":"You are a helpful assistant."},
                 {"role":"user","content":"あなたは誰ですか?"}
               ],
               "max_tokens": 1024,
               "temperature": 0.7
             }'

    こちらもレスポンスが返ってきました。

    {
      "id": "chatcmpl-69u7j29si0cokdb3a8vojg",
      "object": "chat.completion",
      "created": 1767978188,
      "model": "openai/gpt-oss-20b",
      "choices": [
        {
          "index": 0,
          "message": {
            "role": "assistant",
            "content": "私は、OpenAI が開発した人工知能(AI)である ChatGPT です。質問に答えたり、情報を提供したり、さまざまなトピックについてお手伝いすることができます。何か聞きたいことや相談したいことがあれば、お気軽にどうぞ!",
            "reasoning": "User asks \"Who are you?\" in Japanese. Need answer.",
            "tool_calls": []
          },
          "logprobs": null,
          "finish_reason": "stop"
        }
      ],
      "usage": {
        "prompt_tokens": 86,
        "completion_tokens": 95,
        "total_tokens": 181
      },
      "stats": {},
      "system_fingerprint": "openai/gpt-oss-20b"
    }

    無事動いてくれているようです。

    PyCharmから呼び出してみる

    実際にcurlで使い続けるのはちょっと辛いです。
    普段使っているPyCharmなどのJetBrains製品では、AI Chatにサードパーティのサーバーを設定できるらしいので、そちらでも試してみました。

    ①AI AssistantのSettings… を開く

    画像
    AI AssistantのSettingsを開く

    ②AI Assistant > Models & API Keysを設定

    ここでLMStudioへの接続情報を設定します。

    画像
    Models & API keysの設定を開く

    以下のように設定しました。

    画像
    LMStudioを使うように設定

    内容は以下のとおりです。

    • Provider → LMStudio

    • URL → http://{LMStudioが稼働しているマシンのIP}:{LMStudioが稼働しているマシンのポート番号}

    • Core Features → LMStudio/openai/gpt-oss-20b

    • Instant helpers → 〃

    ③ AI Chatに質問してみる

    画像
    質問してみる

    答えてくれました。

    画像
    返答

    念のため、LMStudio側でログを確認します。

    画像
    LMStudioのログを確認

    質問がLMStudioに送られていて、返事を返している様子が確認できました。

    会話のレスポンスは速いと思います。
    LAN内での通信なので、インターネットの接続障害が発生していても、元気に喋ってくれています。
    シンプルなdocker-compose.yml一式や、あまり複雑でないロジックの生成であれば、今のところ特に問題なく使えています。
    Jetbrains AIの利用上限をオーバーしたら、これを使いながら翌月まで待つ、ということができるようになりました(涙)。

    まとめ

    以上、Minisforum MS-S1 Max(Ubuntu24.04)でLMStudioをサーバーモードにして使ってみたお話でした。
    curlでのアクセスも、PyCharmのAI Assistantのサーバーとしても、どちらも問題なく使えています。
    現状だとrocm llama.cpp(linux)がうまく動作してくれないので、vulkanを使っています。
    ちょっとした開発タスクだとか、少しでも外部に触れさせたくない情報を取り扱う場合、最新のモデルでなくても問題ないようなときは、ChatGPTやGeminiに頼らなくても、そこそこ使えると思います。

    お読みいただきまして、ありがとうございました。


     
     
    こんにちは。最近はWeb系のエンジニアをしています。 PCやLinuxについて記事を書いていこうと思います。 アマゾンアソシエイトプログラム参加しています。

    あなたへのおすすめ