メインコンテンツへスキップ
見出し画像

GitHub CopilotのBYOKでローカルLLMを使う:Qwen 3.8 27BをvLLM経由で利用してみた

    こんにちは、ソフトクリエイトでエンジニアをしているKです。
    以前、こちらのブログで「AI Challenge Day」へ参加した感想を投稿した以来、久しぶりの投稿になります!
    最近は、主にAIエージェント周りの開発や検証に取り組んでいます。

    はじめに

    AIエージェントの開発等、LLMを活用するうえで、使うモデルとともに考えられるのが「そのモデルをどこで動かすか」です。
    ChatGPTやClaudeのようにクラウド上のLLMを利用する方法に加えて、自分のPCや、社内のサーバーなどのオンプレミス環境で動かす「ローカルLLM」という選択肢もあります。

    学習済みのモデルデータが公開されている「オープンウェイト」のモデルには、Meta社のLlama、Google社のGemma、Alibaba社のQwen、DeepSeek社のDeepSeekなどがあります。
    自分たちで環境を用意する手間はありますが、動かすモデルや、情報を処理する場所を選べるのが魅力です。
    直近では、2026年10月17日にはDeepSeek-V4.1-Flash-1017も公開されたのが話題になっていますね。

    今回は、それらのモデルの中からQwen3.8-27Bを社内のマシンで動かし、VS CodeのGitHub Copilotから利用する例を紹介していきたいと思います。
    接続の設定から、猫が店長を務める架空のカフェのメニューを作った結果までをご紹介します。
    クラウドの2モデルによる作品も並べながら、ローカルLLMでどんなものが作れるのかを見ていきます。

    今回の条件

    画像

    今回は、「DGX Spark」1 台を推論サーバーとして利用します。
    128GBのユニファイドメモリ(CPUとGPUが共有するメモリ)を搭載しているため、今回のような軽量のローカルLLMであればメモリに載せることができます。
    今回のモデルは、必要なメモリを抑えるためのNVFP4量子化版を選んでいます。
    使用モデル:unsloth/Qwen3.8-27B-NVFP4

    vLLMはモデルを動かし、アプリから呼び出せるAPIを提供する推論エンジンです。
    DGX Spark側では、Qwen3.8-27Bのモデル本体を取得してvLLMを起動し、VS Codeから公開したIPアドレス・ポートへ接続できるようにします。

    vLLM側は、公式のDockerイメージを使い、検証環境に合わせて設定したDocker Composeで起動しています。基本的な起動方法やモデル別の設定は、公式のDocker起動例とQwen3.8-27Bの設定例が参考になります。

    接続の流れは、VS Code → DGX Spark上のvLLM → Qwenとなります。VS Codeからネットワーク経由でDGX Sparkに接続し、Qwenを利用します。

    VS CodeからQwenを使う設定

    まず、GitHub Copilot Chat拡張機能が未導入の場合は、次の手順でインストールします。

    1. VS Codeの「拡張機能」を開く

    2. `GitHub Copilot Chat`を検索し、発行元がGitHubの拡張機能をインストールする。

    3. チャット画面を開けることを確認する。

    準備ができたら、以下の手順でGitHub CopilotのBYOK(Bring Your Own Key)機能を使い、自分で用意したモデルの接続先を登録します。

    1. VS Code コマンドパレットから「Chat: Manage Language Models」を開く。

    2. 「Add Models → Custom Endpoint」を選ぶ。

    3. 名前を付けた後、APIキーを設定し、API形式に「Chat Completions」を選ぶ。

    4. 開いた`chatLanguageModels.json`にモデル情報を設定する。

    次は登録例です。URL・キーを置き換え、入力・出力のトークン上限はvLLMの推論設定に合わせます。
    VS Code公式の設定手順

    [
      {
        "name": "Local Qwen",
        "vendor": "customendpoint",
        "apiKey": "${input:vllmApiKey}",
        "apiType": "chat-completions",
        "models": [
          {
            "id": "qwen3.8-27b",
            "name": "Qwen 3.8 27B NVFP4",
            "url": "http://<接続先ホストIP>:8000/v1/chat/completions",
            "toolCalling": true,
            "vision": true,
            "maxInputTokens": 128000,
            "maxOutputTokens": 16000
          }
        ]
      }
    ]

    エージェントとして利用するため、`toolCalling`を`true`にします。
    画像入力に対応させる場合は、`vision`も`true`にします。
    これらはVS Code側の設定で、vLLM側でも対応する構成が必要です。

    `maxInputTokens`と`maxOutputTokens`の合計は、vLLM側で設定した上限を超えないようにします。
    モデルの標準のコンテキスト上限は262144トークンですが、サーバー側でそれより小さく設定している場合は、その値に合わせます。

    保存後、チャットをエージェントモードにし、登録したQwenを選びます。

    まずはチャットで挨拶してみる

    最初に、次の短いメッセージを送ります。

    画像

    「VS CodeのCopilot SDKを使ったAIアシスタントです」と返ってきました。GitHub Copilot側では、あらかじめシステムプロンプトが設定されているため、クラウドモデルと同じような回答が得られました。

    お題から成果物をクラウドモデルと比較してみる

    お題は、架空のカフェのメニュー表です。GPT-6 Luna、GPT-6.1 Sol、Qwen 3.8 27Bで作成したものを比べます。
    依頼文はこちらです。

    猫が店長をしている架空のカフェのメニュー表を、HTMLとCSSで作成してください。
    お店の名前、キャッチコピー、おすすめメニュー3品と価格を表示してください。
    1つのHTMLファイルで完結させ、デザインは自由に工夫してください。

    この依頼をそれぞれのモデルに対して、reasoning_effort「medium」で依頼してみます。
    生成したHTMLのページ全体のスクリーンショットが以下です。猫店長の雰囲気をどう表現したかにも注目すると面白いかもしれません。

    GPT-6 Luna


    画像

    「喫茶ねこのひげ」は、やわらかい色合いで、紙のメニュー表のような落ち着いた仕上がりです。メニューと価格がすっきり並び、「店長は昼寝中です」という一言にも猫カフェらしさを感じます。

    GPT-6.1 Sol


    画像

    「喫茶 ひだまり」は、猫店長や料理のイラストが目を引き、お店の雰囲気まで伝わってきます。メニュー表というお題から、お店の紹介ページまで広がったような、見ていて楽しい仕上がりです。

    Qwen 3.8 27B


    画像

    「ねこまた珈琲」は、深緑と金色を使った、ほかの2作品とは違う大人っぽい雰囲気です。店長の紹介からメニューと価格までまとまっていて、ローカルLLMでも、カフェらしい一枚を形にできた手応えがあります。

    同じお題でも、すっきりしたメニュー表、イラストを楽しむお店の紹介ページ、落ち着いた配色のメニューと、方向性が分かれました。3作品とも、店名・キャッチコピー・3品と価格はメニュー表に含まれています。

    ローカルLLMも、用途を見極めて使う選択肢に

    クラウドのLLMがさまざまな場面で活用される中、ローカルLLMも、用途に応じて実用的に使える選択肢になってきたと感じます。

    旧世代のQwen3.6-27BやQwen3.6-35B-A3Bでも、エージェント性能は向上していましたが、ツール呼び出しが不安定になったり、出力がループしたりすることがありました。
    今回のQwen3.8-27Bでは、AIエージェントとしての動作もかなり安定してきており、性能もさらに上がってきています。

    オープンウェイトモデルの中には、特定の性能評価でクラウドのフロンティアモデルに匹敵する結果を示すものも登場しています。
    ローカルLLMの魅力の一つは、用途に合うモデルを選び、自分たちで管理する機器内で情報を処理できることです。会社や組織のルール上、外部のクラウドへデータを送信・処理できない場合にも、こうした構成が選択肢になります。

    また、費用の面では、今回のように無料で利用できるモデルを自前の機器で動かす場合、クラウドモデルのような利用量に応じた従量課金は発生しません。(電気代等はかかります。)
    AIエージェントのような、一つの作業で大量のトークンを利用する用途では、その分お得に利用することができます。
    その代わり、機器が必要なので、機器代は必要になります。
    また、環境の構築・更新・保守も自分たちで担う必要があります。

    特に、使えるモデルや応答速度は機器の性能に左右され、用途に応じた性能評価(回答の正しさ等)を実施する必要も出てきたり、複数人で使う場合には処理能力も考える必要があります。

    さいごに

    今回は、LLMの選択肢として、ローカルモデルの可能性のお話しでした。

    文章の作成から、MCPを介した外部システムとの連携や、画像・図表の理解、複雑な条件を踏まえた推論まで、比較的軽量なローカルLLMにも任せら
    れることも増えてきており、ローカルLLMの実用性も上がってきています。

    個人的にも、これからもクラウド・ローカルそれぞれのモデルを試しながら、性能やコスト、データを扱う場所なども踏まえて、用途に合ったモデルの選び方や活用方法を探っていきたいと思っています。

    おまけ

    最後に、Qwen 3.8 27Bが作った犬店長バージョンもどうぞ!

    画像

    おすすめメニューには「お水(0円)」もあります。ただし、おかわりは店長のご機嫌次第。注文前に、尻尾の動きを確認したくなります(笑)

    あなたへのおすすめ