メインコンテンツへスキップ
見出し画像

普通のMacBookでBonsai 2 27Bを試す

    前回は、「普通のMacBookでもローカルLLMがどこまで使えるか」をテーマに「Qwen3.8-27B」を検証しました。今回は、その続編として「Bonsai 2 27B」にトライします。

    Bonsai 2 27B

    Bonsai 2 27Bは、PrismMLが2026年9月17日に発表したモデルです。前回取り上げたQwen3.8 27Bをベースに、能力をできるだけ保ちながらモデル容量と必要なメモリを減らすことを目指し、ベンチマークの平均スコアで元のQwen3.8 27B(FP16版)の性能を98.2%維持したと発表しています。実際、今回使用したBonsaiのMLX版のモデルファイルは8.6GB。Qwen(18GB)の半分以下となりました。

    ※今回はNVFP4版のQwenをOllamaで、MLX 2bit版のBonsaiを付属ローダーで実行しています。公式の「98.2%」はFP16版Qwenとの比較であり、今回の検証とは条件が異なります。

    また、前回のQwenの検証で課題になったのはメモリです。実行中は約21〜22.5GiBに達し、24GBのMacBook Airでは全く余裕がありませんでした。モデル容量のようにメモリも軽量化されているなら、同じMacBookでも余裕を持って使えるかもしれません。

    検証1.手書き文字の分析

    まず、手書き文字の読み取りを検証しました。検証用のデータとして使ったのは、Apache License 2.0で公開されている「JaWildText」です。

    画像
    出典:Koki Maeda and Naoaki Okazaki(2026). “JaWildText: A Benchmark for Vision-Language Models on Japanese Scene Text Understanding.” ICDAR 2026(刊行予定)。
    画像
    手書き文字の読み取り結果

    正答率は、Qwenが思考モードOFF/ONともに97.98%。BonsaiはOFF 93.62%、ON 92.69%でした。Qwenが優勢で、特に縦書きで差が大きくなりました。

    画像
    元データ

    Qwen

    ミトコンドリアの二重膜は外層がリン脂質で
    比較的流動的、内層はクランチ構造が
    折り重なり広い表面積を提供し、酸化的
    リン酸化に必要な酵素複合体を
    効率的に配置できる点が細胞エネルギー
    産生に重要だ。

    Bonsai

    トコニドリアの二重膜は外層がリン脂質で
    化較的流動的、内層はクラク構造が
    折り重なり広い表面積を提供し、酸化的
    リン酸化に必要な酵素複合体を
    効率的に配置できる点が細胞エネルギー
    産生に重要だ。

    検証2.PDFの分析

    次に、PDFの分析精度を検証しました。PDFの元画像と事前に抽出した文字や位置情報を用いて、写真や図表の切り出し範囲 / 写真と説明文の対応 / 本文の読み順などを分析しました。

    しかし、Qwenはメモリ不足で回答できず、精度は未評価となりました。Bonsaiは、写真や図版の切り出し範囲 / 写真と説明文の対応はそれぞれ2件中1件が正解。本文の読み順は、5組の問題に対し正解はありませんでした。

    検証3.動画の分析

    最後に、動画ファイルも検証しました。分析には、Gemma 4 12Bも加えた3つのモデルを使用しています。インプットには、動画ファイルそのものと、時間ごとのスクリーンショット画像を使う2パターンを準備しました。

    また、検証用の動画にはGoogle DeepMindの「Perception Test」の公式サンプルを使いました。© 2022 DeepMind Technologies Limited/CC BY 4.0

    動画ファイルを渡した結果

    画像
    動画ファイルを渡した結果

    GemmaとBonsaiは、どちらも12問中8問正解でした。ただし、処理時間はGemmaの約38秒に対してBonsaiは約113秒と大きな差が生まれました。最大メモリもGemmaの方が少なく、今回の実行環境ではGemmaが軽快に動く結果でした。Qwenでは、なぜか今回の環境では読める回答が出ず、同じ出力を繰り返していたため検証をストップしました。

    時間ごとのスクリーンショット画像を渡した結果

    画像
    時間ごとのスクリーンショット画像を渡した結果

    スクリーンショットを用いた検証では、Bonsaiが12問中8問、Gemmaが7問正解でした。正答率ではBonsaiが上回りましたが、Bonsaiの処理時間はGemmaの約5倍と非常に長くなり、ここでもGemmaの方が軽快に動く結果となりました。

    また、Bonsaiはどちらのインプットも正答数は変わらず、スクリーンショット画像を用いたときだけ処理時間とメモリが大幅に増えたことになります。

    Qwenは1本目のみ5問中4問に正解しましたが、2本目でメモリ不足となり、検証をストップしました。※80%という正答率は1本だけの結果なので、他のモデルとはそのまま比較できません。

    まとめ

    Bonsai 2 27Bは、モデル容量が半分以下になり、Qwenがメモリ不足で止まったPDFでも回答まで進められました。ただし、手書き文字の正確さではQwenが優勢で、動画ではGemmaの方が速く、メモリも少なく済みました。今回の小規模な検証では、省容量化の魅力と、用途による得意不得意の両方が見えています。

    公式の「98.2%」という数字に期待しつつも、実際に任せたい作業で精度・速さ・メモリ使用量を確かめることが、手元のMacに合うモデル選びにつながりそうです。

    (むしろGemmaが思った以上に良いのでは・・・と思ってしまった)

    あなたへのおすすめ