メインコンテンツへスキップ
見出し画像

BaseRTって何?M5 MaxのMacBookでQwen3.6-35Bを動かしてみた

    BaseRTという名前を初めて見たとき、正直なところ何をするソフトなのか分かりませんでした。

    OllamaやLM StudioのようにローカルLLMを動かすものらしい。

    しかも、Apple Siliconでの速さを強く打ち出しています。

    ただ、速いという説明だけでは、毎日使える道具なのかまでは分かりません。

    そこで今週は、MacBook ProのM5 MaxでBaseRTとQwen3.6を1週間試します。

    初日は難しい比較をせず、BaseRTとは何か、導入できるか、日本語で返事が来るかだけを確認しました。

    🔰 先にざっくり用語メモ

    📝 BaseRT
    大規模言語モデルをMacなどの端末上で動かすための実行環境です。
    モデルの取得、対話、APIサーバーの起動を一つのコマンドから扱えます。

    📝 ローカルLLM
    クラウドへ質問を送らず、自分のPC上で動かす大規模言語モデルです。
    一度モデルを保存すれば、インターネットへ接続しない状態でも使えます。

    📝 Qwen3.6-35B-A3B
    今回BaseRTで動かした言語モデルです。
    全体は約350億パラメータですが、回答時に使う部分を絞るMoEという仕組みを採用しています。

    📝 Q4
    モデルの数値を4ビット中心に軽量化した形式です。
    今回使ったBaseRT版は約18GBで、まず動作を確かめる初回向けとして選びました。

    1. BaseRTの役割

    BaseRTは、ChatGPTのようなAIそのものではありません。

    今回の組み合わせで言えば、Qwen3.6が文章を考えるモデルで、BaseRTはそのモデルをMac上で動かす実行環境です。

    BaseRTの公式リポジトリでは、モデルの取得、チャット、ベンチマーク、OpenAI互換APIの起動などを一つのCLIから行えると説明されています。

    たとえば、役割は次のように分かれます。

    Qwen3.6
    ↓
    文章を考えるモデル
    
    BaseRT
    ↓
    モデルを読み込み、MacのGPUで実行する環境

    BaseRTはMac専用のチャットアプリというより、ターミナルから使うローカルLLMの土台に近い存在です。

    画面を開いてモデルを選ぶLM Studioとは、最初の触り心地がかなり違います。

    2. M5専用ではないBaseRT

    今回M5 Maxで試していますが、BaseRTはM5専用ではありません。

    公式の動作条件は、Apple SiliconのM1以降とmacOS 14以降です。

    2026年7月31日に公開されたBaseRT 0.2.0では、Qwen3.5とQwen3.6のハイブリッド構成へ対応し、M1からM5向けのMetal処理も調整されています。

    そのため、今回のポイントは「M5でしか使えない」ではありません。

    M1以降で動くBaseRTを、128GBメモリのM5 Maxでどこまで使えるかを見る企画です。

    速度の優劣は、まだ決めません。

    初日は入口だけです。

    3. 今回の環境

    使用した環境は次のとおりです。

    • MacBook Pro 16インチ M5 Max

    • ユニファイドメモリ 128GB

    • macOS 26.5.2

    • BaseRT 0.2.0

    • Qwen3.6-35B-A3B Q4

    Qwen3.6-35B-A3BのBaseRT版にはQ4とQ8があります。

    公式モデルページに掲載されている容量は、Q4が18GB、Q8が33GBです。

    今回は導入確認なので、軽いQ4から始めました。

    Q8との違いは、次の記事で同じ条件にそろえて見ます。

    4. 最初に試した3つの日本語課題

    BaseRTでQwen3.6-35B-A3B Q4を読み込み、短い日本語課題を3種類試しました。

    内容は、普段のローカルLLMで使いそうな軽いものです。

    • MacでローカルLLMを動かす利点を3つ説明する

    • BaseRTとOllamaを公平に比べる条件を5つ挙げる

    • 少し硬い日本語を自然な一文へ直す

    その前にBaseRTの内蔵ベンチマークも実行しました。

    Qwen3.6-35B-A3B Q4のモデルサイズは20,193MiBと認識され、短いテストでは入力処理が1,954.28 tokens/s、文章生成が161.70 tokens/sでした。

    tokens/sは、1秒間に処理または生成したトークン数です。

    日本語の文字数と同じではありませんが、数値が大きいほど文字は速く生成されます。

    ただし、ベンチマークが速くても、質問へ読みやすく答えられるとは限りません。

    実際の返答は、予想していたものとかなり違いました。

    5. 最初に返ってきた英語の思考メモ

    最初はQwen3.6の標準設定で試しました。

    最初の文字が出るまでの中央値は0.089秒、生成速度の中央値は149.79 tokens/sでした。

    反応だけを見ると、かなり速く感じます。

    ところが、3問とも日本語の最終回答へ到達しませんでした。

    「MacでローカルLLMを動かす利点を3つ」と頼んだとき、実際に返ってきた全文がこちらです。

    Here's a thinking process:
    
    1.  **Analyze User Input:**
       - **Topic:** Running local LLMs on Mac
       - **Target Audience:** Beginners (初心者向け)
       - **Requirement:** Explain exactly 3 advantages (利点を 3 つだけ説明)
       - **Language:** Japanese
    
    2.  **Identify Key Advantages of Running LLMs Locally on Mac:**
       - *Privacy/Security:* Data stays on the device, no cloud transmission.
       - *Cost/No Subscription:* One-time hardware purchase, no monthly API fees.
       - *Offline/No Internet Required:* Works without internet connection.
       - *Apple Silicon Optimization:* Unified memory architecture allows efficient running of large models.
       - *Ease of Setup/Software Ecosystem:* Tools like Ollama, LM Studio make it

    質問の意図は正しく読み取っています。

    ただし、読者へ見せる日本語の答えを作る前に、英語で整理を始め、その途中で生成上限へ達しました。

    さらに面白かったのが、BaseRTとOllamaの比較条件を聞いたときです。

    返答の途中で、Qwen3.6はBaseRT自体を疑い始めました。

    - **BaseRT:** I need to verify what this is.
      A quick mental search/knowledge retrieval:
      "BaseRT" isn't a widely known mainstream LLM framework
      like Ollama, vLLM, LM Studio, etc.
      It might be a typo, a niche tool, or a specific product.
      Let me think: Could it be "Baseten"?

    BaseRT上で動いているQwen3.6が、「BaseRTはタイプミスではないか」と考えています。

    モデルを動かす実行環境と、モデルが持っている知識は別物だとよく分かる返答でした。

    BaseRTが新しいため、Qwen3.6の学習時点では十分な情報を持っていない可能性があります。

    この結果で測れていたのは、完成した日本語回答の速さではありません。

    英語のThinking部分を約150 tokens/sで生成した速さです。

    6. Thinkingを切ると話が止まらない

    次にThinkingを無効にし、利用者へ見せる日本語だけを返す設定へ変えました。

    最初の文字は0.088秒で現れ、生成速度は148.68 tokens/sでした。

    今度は日本語で答え始めましたが、「3つだけ」という依頼に対して1,004文字まで膨らみ、512トークンの上限で途中終了しました。

    返答は次のように始まります。

    MacでローカルLLM(大規模言語モデル)を動かすことの、
    初心者向けの主な利点は以下の3つです。
    
    ### 1. 「Apple Silicon」の恩恵で、高性能・低消費電力
    Macに搭載されているApple製チップ(M1/M2/M3シリーズなど)は、
    CPUとGPU(メモリ共有型)が一体化しており、
    「メモリ帯域幅が非常に広い」という特徴があります。
    
    - 利点: ローカルLLMは大量のデータをメモリから読み込む必要があるため、
      この特性により、Windows/Linux機よりも驚くほど高速に動作します。
    - 初心者向けポイント: 高額な専用GPUを買わなくても、
      Mac1台で快適に動かせるのが最大の魅力です。

    このあとも「MacBook AirやMac miniでも動く」「macOSのソフトウェアと相性がよい」と説明が続きました。

    最後は次の文章で途切れています。

    「高価なGPU不要」「Mac1台で完結」「設定が比較的簡単」
    という3点が揃っているため、ローカルLLMの世界に
    最も安く・手軽に入門

    3つに分ける指示は守っています。

    一方で、各項目へ「利点」「初心者向けポイント」「まとめ」を追加したため、短い返答にはなりませんでした。

    内容にも注意が必要です。

    「WindowsやLinuxより驚くほど高速」「最も安く手軽に入門できる」という表現は、今回の実験では比較していません。

    文章が自然に見えても、実測していない比較まで事実として採用するわけにはいきません。

    速く生成できることと、そのまま掲載できる返答が得られることは別でした。

    7. 返答の形まで指定した再試行

    最後は、「短く答えてください」だけではなく、返答の形まで指定しました。

    1問目は番号付き3行、2問目は番号付き5行、3問目は修正文1文だけです。

    各行の文字数も制限し、前置き、見出し、まとめを付けない条件にしました。

    この条件では、3種類の課題が生成上限へ達せず、最後まで完了しました。

    ここで変えたのはBaseRTの性能設定ではありません。

    Qwen3.6へ渡す依頼文だけです。

    標準設定では考え続け、Thinkingを切ると説明し続けました。

    完成形を細かく指定すると、短い返答へ収まりました。

    Qwen3.6-35B-A3Bは日本語が苦手というより、頼まれていない説明まで足しやすいモデルという印象です。

    ブログの下書きや長い解説では、この丁寧さが役立つ場面もあります。

    短い要約や一文修正では、行数や形式まで伝えた方が扱いやすそうです。

    8. 初日に分かったBaseRTの使い心地

    BaseRTは、Qwen3.6-35B-A3B Q4をM5 Max上で問題なく読み込みました。

    内蔵ベンチマークの文章生成は161.70 tokens/s、実際の短い課題も約149 tokens/sで動いています。

    少なくとも、文字が流れ始めるまで長く待つ印象はありませんでした。

    ただし、初日に一番面白かったのは速度ではありません。

    BaseRT上で動くQwen3.6がBaseRTを知らず、Thinkingを切ると今度は話が長くなったことです。

    実行環境が新しくても、モデルの知識が自動的に新しくなるわけではありません。

    生成速度が速くても、返答の長さや断定の強さは別に調整する必要があります。

    BaseRTは、この違いを細かく確認するための土台として使えそうです。

    ただし、初日の結果だけで「Ollamaより速い」「Q4で十分」とは判断できません。

    次は同じQwen3.6のQ4とQ8を同じ課題で比べます。

    9. 今日のメモ

    BaseRTは、Qwen3.6のような言語モデルをApple Silicon上で動かす実行環境です。

    M5 MaxではQwen3.6-35B-A3B Q4を読み込めて、短い文章を約150 tokens/s前後で生成しました。

    一方、最初に返ってきたのは日本語の答えではなく、英語の思考メモでした。

    Thinkingを切ると、今度は3つだけの依頼に1,004文字を返し、最後まで話し終わりませんでした。

    初日に分かったのは、「速いかどうか」だけでは足りないということです。

    次はQ4とQ8で、速度だけでなく返答の長さ、指示の守り方、文章の違いまで確認します。


    参考にした公式情報

    Tami

    #BaseRT #Qwen3_6 #ローカルLLM #MacBookPro #AppleSilicon #生成AI #M5Max

     
     

    Tami

     
     
    初めまして。Tamiです。 MacでローカルLLMを試しながら、まっさらなMacを少しずつ使いやすくカスタマイズする実験ノートです。

    あなたへのおすすめ