
BaseRTって何?M5 MaxのMacBookでQwen3.6-35Bを動かしてみた
BaseRTという名前を初めて見たとき、正直なところ何をするソフトなのか分かりませんでした。
OllamaやLM StudioのようにローカルLLMを動かすものらしい。
しかも、Apple Siliconでの速さを強く打ち出しています。
ただ、速いという説明だけでは、毎日使える道具なのかまでは分かりません。
そこで今週は、MacBook ProのM5 MaxでBaseRTとQwen3.6を1週間試します。
初日は難しい比較をせず、BaseRTとは何か、導入できるか、日本語で返事が来るかだけを確認しました。
🔰 先にざっくり用語メモ
📝 BaseRT
大規模言語モデルをMacなどの端末上で動かすための実行環境です。
モデルの取得、対話、APIサーバーの起動を一つのコマンドから扱えます。
📝 ローカルLLM
クラウドへ質問を送らず、自分のPC上で動かす大規模言語モデルです。
一度モデルを保存すれば、インターネットへ接続しない状態でも使えます。
📝 Qwen3.6-35B-A3B
今回BaseRTで動かした言語モデルです。
全体は約350億パラメータですが、回答時に使う部分を絞るMoEという仕組みを採用しています。
📝 Q4
モデルの数値を4ビット中心に軽量化した形式です。
今回使ったBaseRT版は約18GBで、まず動作を確かめる初回向けとして選びました。
1. BaseRTの役割
BaseRTは、ChatGPTのようなAIそのものではありません。
今回の組み合わせで言えば、Qwen3.6が文章を考えるモデルで、BaseRTはそのモデルをMac上で動かす実行環境です。
BaseRTの公式リポジトリでは、モデルの取得、チャット、ベンチマーク、OpenAI互換APIの起動などを一つのCLIから行えると説明されています。
たとえば、役割は次のように分かれます。
Qwen3.6
↓
文章を考えるモデル
BaseRT
↓
モデルを読み込み、MacのGPUで実行する環境BaseRTはMac専用のチャットアプリというより、ターミナルから使うローカルLLMの土台に近い存在です。
画面を開いてモデルを選ぶLM Studioとは、最初の触り心地がかなり違います。
2. M5専用ではないBaseRT
今回M5 Maxで試していますが、BaseRTはM5専用ではありません。
公式の動作条件は、Apple SiliconのM1以降とmacOS 14以降です。
2026年7月31日に公開されたBaseRT 0.2.0では、Qwen3.5とQwen3.6のハイブリッド構成へ対応し、M1からM5向けのMetal処理も調整されています。
そのため、今回のポイントは「M5でしか使えない」ではありません。
M1以降で動くBaseRTを、128GBメモリのM5 Maxでどこまで使えるかを見る企画です。
速度の優劣は、まだ決めません。
初日は入口だけです。
3. 今回の環境
使用した環境は次のとおりです。
MacBook Pro 16インチ M5 Max
ユニファイドメモリ 128GB
macOS 26.5.2
BaseRT 0.2.0
Qwen3.6-35B-A3B Q4
Qwen3.6-35B-A3BのBaseRT版にはQ4とQ8があります。
公式モデルページに掲載されている容量は、Q4が18GB、Q8が33GBです。
今回は導入確認なので、軽いQ4から始めました。
Q8との違いは、次の記事で同じ条件にそろえて見ます。
4. 最初に試した3つの日本語課題
BaseRTでQwen3.6-35B-A3B Q4を読み込み、短い日本語課題を3種類試しました。
内容は、普段のローカルLLMで使いそうな軽いものです。
MacでローカルLLMを動かす利点を3つ説明する
BaseRTとOllamaを公平に比べる条件を5つ挙げる
少し硬い日本語を自然な一文へ直す
その前にBaseRTの内蔵ベンチマークも実行しました。
Qwen3.6-35B-A3B Q4のモデルサイズは20,193MiBと認識され、短いテストでは入力処理が1,954.28 tokens/s、文章生成が161.70 tokens/sでした。
tokens/sは、1秒間に処理または生成したトークン数です。
日本語の文字数と同じではありませんが、数値が大きいほど文字は速く生成されます。
ただし、ベンチマークが速くても、質問へ読みやすく答えられるとは限りません。
実際の返答は、予想していたものとかなり違いました。
5. 最初に返ってきた英語の思考メモ
最初はQwen3.6の標準設定で試しました。
最初の文字が出るまでの中央値は0.089秒、生成速度の中央値は149.79 tokens/sでした。
反応だけを見ると、かなり速く感じます。
ところが、3問とも日本語の最終回答へ到達しませんでした。
「MacでローカルLLMを動かす利点を3つ」と頼んだとき、実際に返ってきた全文がこちらです。
Here's a thinking process:
1. **Analyze User Input:**
- **Topic:** Running local LLMs on Mac
- **Target Audience:** Beginners (初心者向け)
- **Requirement:** Explain exactly 3 advantages (利点を 3 つだけ説明)
- **Language:** Japanese
2. **Identify Key Advantages of Running LLMs Locally on Mac:**
- *Privacy/Security:* Data stays on the device, no cloud transmission.
- *Cost/No Subscription:* One-time hardware purchase, no monthly API fees.
- *Offline/No Internet Required:* Works without internet connection.
- *Apple Silicon Optimization:* Unified memory architecture allows efficient running of large models.
- *Ease of Setup/Software Ecosystem:* Tools like Ollama, LM Studio make it質問の意図は正しく読み取っています。
ただし、読者へ見せる日本語の答えを作る前に、英語で整理を始め、その途中で生成上限へ達しました。
さらに面白かったのが、BaseRTとOllamaの比較条件を聞いたときです。
返答の途中で、Qwen3.6はBaseRT自体を疑い始めました。
- **BaseRT:** I need to verify what this is.
A quick mental search/knowledge retrieval:
"BaseRT" isn't a widely known mainstream LLM framework
like Ollama, vLLM, LM Studio, etc.
It might be a typo, a niche tool, or a specific product.
Let me think: Could it be "Baseten"?BaseRT上で動いているQwen3.6が、「BaseRTはタイプミスではないか」と考えています。
モデルを動かす実行環境と、モデルが持っている知識は別物だとよく分かる返答でした。
BaseRTが新しいため、Qwen3.6の学習時点では十分な情報を持っていない可能性があります。
この結果で測れていたのは、完成した日本語回答の速さではありません。
英語のThinking部分を約150 tokens/sで生成した速さです。
6. Thinkingを切ると話が止まらない
次にThinkingを無効にし、利用者へ見せる日本語だけを返す設定へ変えました。
最初の文字は0.088秒で現れ、生成速度は148.68 tokens/sでした。
今度は日本語で答え始めましたが、「3つだけ」という依頼に対して1,004文字まで膨らみ、512トークンの上限で途中終了しました。
返答は次のように始まります。
MacでローカルLLM(大規模言語モデル)を動かすことの、
初心者向けの主な利点は以下の3つです。
### 1. 「Apple Silicon」の恩恵で、高性能・低消費電力
Macに搭載されているApple製チップ(M1/M2/M3シリーズなど)は、
CPUとGPU(メモリ共有型)が一体化しており、
「メモリ帯域幅が非常に広い」という特徴があります。
- 利点: ローカルLLMは大量のデータをメモリから読み込む必要があるため、
この特性により、Windows/Linux機よりも驚くほど高速に動作します。
- 初心者向けポイント: 高額な専用GPUを買わなくても、
Mac1台で快適に動かせるのが最大の魅力です。このあとも「MacBook AirやMac miniでも動く」「macOSのソフトウェアと相性がよい」と説明が続きました。
最後は次の文章で途切れています。
「高価なGPU不要」「Mac1台で完結」「設定が比較的簡単」
という3点が揃っているため、ローカルLLMの世界に
最も安く・手軽に入門3つに分ける指示は守っています。
一方で、各項目へ「利点」「初心者向けポイント」「まとめ」を追加したため、短い返答にはなりませんでした。
内容にも注意が必要です。
「WindowsやLinuxより驚くほど高速」「最も安く手軽に入門できる」という表現は、今回の実験では比較していません。
文章が自然に見えても、実測していない比較まで事実として採用するわけにはいきません。
速く生成できることと、そのまま掲載できる返答が得られることは別でした。
7. 返答の形まで指定した再試行
最後は、「短く答えてください」だけではなく、返答の形まで指定しました。
1問目は番号付き3行、2問目は番号付き5行、3問目は修正文1文だけです。
各行の文字数も制限し、前置き、見出し、まとめを付けない条件にしました。
この条件では、3種類の課題が生成上限へ達せず、最後まで完了しました。
ここで変えたのはBaseRTの性能設定ではありません。
Qwen3.6へ渡す依頼文だけです。
標準設定では考え続け、Thinkingを切ると説明し続けました。
完成形を細かく指定すると、短い返答へ収まりました。
Qwen3.6-35B-A3Bは日本語が苦手というより、頼まれていない説明まで足しやすいモデルという印象です。
ブログの下書きや長い解説では、この丁寧さが役立つ場面もあります。
短い要約や一文修正では、行数や形式まで伝えた方が扱いやすそうです。
8. 初日に分かったBaseRTの使い心地
BaseRTは、Qwen3.6-35B-A3B Q4をM5 Max上で問題なく読み込みました。
内蔵ベンチマークの文章生成は161.70 tokens/s、実際の短い課題も約149 tokens/sで動いています。
少なくとも、文字が流れ始めるまで長く待つ印象はありませんでした。
ただし、初日に一番面白かったのは速度ではありません。
BaseRT上で動くQwen3.6がBaseRTを知らず、Thinkingを切ると今度は話が長くなったことです。
実行環境が新しくても、モデルの知識が自動的に新しくなるわけではありません。
生成速度が速くても、返答の長さや断定の強さは別に調整する必要があります。
BaseRTは、この違いを細かく確認するための土台として使えそうです。
ただし、初日の結果だけで「Ollamaより速い」「Q4で十分」とは判断できません。
次は同じQwen3.6のQ4とQ8を同じ課題で比べます。
9. 今日のメモ
BaseRTは、Qwen3.6のような言語モデルをApple Silicon上で動かす実行環境です。
M5 MaxではQwen3.6-35B-A3B Q4を読み込めて、短い文章を約150 tokens/s前後で生成しました。
一方、最初に返ってきたのは日本語の答えではなく、英語の思考メモでした。
Thinkingを切ると、今度は3つだけの依頼に1,004文字を返し、最後まで話し終わりませんでした。
初日に分かったのは、「速いかどうか」だけでは足りないということです。
次はQ4とQ8で、速度だけでなく返答の長さ、指示の守り方、文章の違いまで確認します。
参考にした公式情報
Tami
#BaseRT #Qwen3_6 #ローカルLLM #MacBookPro #AppleSilicon #生成AI #M5Max