メインコンテンツへスキップ
見出し画像

【2026年9月】ローカルLLM観測ログ。「2Bで仕事ができるか」と「27Bを5.9GBに圧縮する」の2方向

    この記事の読み方

    本シリーズは、病院薬剤師向けローカルLLMの定点観測記録です。毎月同一の調査プロンプトを用いて複数のAIから情報を収集し、一次情報の確認と筆者の検証を加えながら記録しています。速報性よりも「継続的な比較可能性」を重視し、GPU無し・16GB RAM以下のノートPCで業務に使えるモデルの変化を長期的に追跡することを目的としています。

    「AIがそう言った」のか「実際に確認された事実」なのかを読者に分かるように、情報を3種類に分けています。

    【FACT】出典をたどれる情報(一次情報を確認できたものにはその旨を明記します)。

    【AI考察】各サービスに同じ質問をした結果、各サービスが回答した内容と共通・相違点の整理です(筆者が一次情報を未確認のものを含みます)。

    【筆者コメント】それらを踏まえた筆者自身の見解です。

    事実と推測が混在しないよう、見出しごとにこの3層を意識して読んでいただければと思います。


    今月の30秒サマリー

    今月最大の変化:「2Bで仕事ができるか」と「27Bを5.9GBに圧縮する」という、対照的な2つの方向で16GB RAMの壁に挑んだ月でした。

    ★★★ 変化:OpenBMBが9月7日に「MiniCPM5-2B」(2.52B・Q4_K_M量子化で約1.56GB・CPU-only対応・131,072トークンコンテキスト)を公開しました。GPU無し・16GB RAM環境での実用候補として、複数のAIから同様に報告されています。あわせてOpenBMB公式のllama.cppデプロイ手順書を確認したところ、「llama.cppの既定min_p=0.05は反復出力につながる可能性があるため、min_p=0.0を設定している」という記載を見つけました。この設定がどの程度実用上重要なのかは筆者自身まだ評価できておらず、実際に試す際の確認項目として記録しておきます。

    ★★★ 変化:PrismMLが9月17日に「Ternary Bonsai 2 27B」を公開しました。Qwen3.8-27Bをternary量子化(重みを-1・0・+1の3値に圧縮)し、約55.6GB(BF16)から5.9GBまで圧縮しながらベースモデルの98.2%の性能を維持しているとされています。8月号で持ち越した「Qwen3.8-27Bの軽量版は登場するか」という仮説への回答になりました。

    ★★★ 変化:Institute of Foundation Models(IFM、MBZUAI傘下)が9月3日に「K2 Horizon」を公開しました。0.9B・3.7B・7Bを含む全6モデル(0.9B〜375B)のファミリーで、0.9Bはwatch・glasses、3.7B・7Bはphoneなど、いずれもオンデバイス用途を想定していると公式が説明しています。Apache 2.0ライセンスで、重み・コード・学習データまで含めて公開されています。

    ★★ 変化:Ollamaは9月中に0.34系列で複数回更新され、structured output(構造化出力)の安定化・thinking制御の可視化・ChatGPT Desktop連携などが追加されました。ただし正確なバージョン番号・日付はAIの回答間でばらつきがあり、この点は「AI観測、要確認」として扱います。LM Studioは0.4.24(9月9日)・0.4.25(9月19日、Apple Silicon向けSplashエンジン対応)へ更新されており、こちらはChatGPT・Grokの回答が一致しているため確度が高いと考えられます。


    今月のストーリー:小型化と超低ビット化、2つの方向から16GBへ

    前号(8月号)では、LFM2.5シリーズという「最初からCPU・エッジ環境を意識した設計」のモデルが登場した月でした。9月は、その延長線上でありながら、はっきりと異なる2つのアプローチが同時に進んだ月でした。

    一つは、MiniCPM5-2Bに代表される「モデルそのものを小さく作る」方向です。2.52Bというパラメータ数は、8月号のLFM2.5-2.6Bと近い規模ですが、131,072トークンという長いコンテキスト、tool calling対応、CPU-only推論の公式サポートなど、「小さくても仕事の一部を任せられる」ことを狙った設計になっています。

    もう一つは、Ternary Bonsai 2 27Bに代表される「大きなモデルを極端に圧縮する」方向です。Qwen3.8-27Bという約55.6GB(BF16)級のモデルを、ternary量子化という手法で5.9GBまで圧縮しながら、ベンチマーク性能の98.2%を維持しているとされています。5.9GBという数字だけを見れば16GB RAMに十分収まりますが、実際の推論にはKVキャッシュやコンテキスト長分のメモリが追加で必要になるため、「モデルが5.9GBだから快適に動く」とは言い切れない点には注意が必要です。

    もう一つ、今月の調査で興味深かったのは、AIの回答だけでは判断できない情報が見つかったことです。MiniCPM5-2Bについて4社とも「16GB RAM CPU環境の有力候補」として報告していましたが、OpenBMB公式のllama.cppデプロイ手順書を確認すると、「llama.cppの既定min_p=0.05は反復出力につながる可能性がある」として、min_p=0.0を推奨設定にしているという記載も見つかりました。これは4社のどのAIの回答にも含まれていない情報でした。ただし、この設定がどのような条件で問題になり、実際の業務利用にどの程度影響するのかは、筆者自身もまだ確認できていません。そこで今回は、モデルの評価を下げる材料と決めつけるのではなく、実際に試して確かめる検証課題として残すことにしました。


    GPU無し・16GB RAM以下ノートPCで使える新規モデル

    【FACT】一次情報確認済(OpenBMB公式、Hugging Face、複数の技術メディア)

    OpenBMBが2026年9月7日に「MiniCPM5-2B」を公開しました。2.52Bパラメータ(埋め込み除くと約1.98B)、Llama系dense transformer、GQA(16 Query/2 KV)、42層、131,072トークンのコンテキストウィンドウを持ちます。GGUF版が公式に提供されており、F16は約5.04GB、Q8_0は約2.68GB、Q4_K_Mは約1.56GBです。ライセンスはApache 2.0。CPU-only推論を公式ドキュメントが明記しており、tool calling・reasoning(thinking mode)にも対応しています(出典: https://github.com/openbmb/minicpm / https://huggingface.co/openbmb/MiniCPM5-2B-GGUF )。

    続けて9月17日には、PrismMLがQwen3.8-27Bをternary量子化した「Ternary Bonsai 2 27B」を公開しました。重みを-1・0・+1の3値表現に圧縮し、実効1.76bit/weightという水準で、約55.6GB(BF16)相当のモデルを約5.9GBまで圧縮しています。ベースのQwen3.8-27Bと比べてベンチマーク平均で98.2%の性能を維持しているとPrismMLは報告しています。262,144トークンのコンテキスト、テキスト・画像入力、thinking mode、tool callingにも対応し、ライセンスはApache 2.0です(出典: https://prismml.com/news/bonsai-2-27b / https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf )。

    9月3日には、Institute of Foundation Models(IFM、MBZUAI傘下)が「K2 Horizon」を公開しました。0.9B・3.7B・7Bを含む0.9B〜375Bの全6モデルからなるファミリーで、IFMは0.9Bをwatch・glassesなど極めて制約の大きい環境向け、3.7B・7Bをphoneなどのオンデバイス用途向けと説明しています。重み・コード・学習データまで含めて公開されており、ライセンスはApache 2.0です(出典: IFM公式プレスリリース、Hugging Face公式コレクション)。

    【AI考察】複数サービスで一致した評価

    ChatGPT・Claude・Grokの3社が、MiniCPM5-2BとTernary Bonsai 2 27Bの両方を同様に報告していました。MiniCPM5-2Bについては「16GB RAM CPU環境で現実的に動く候補」、Ternary Bonsai 2 27Bについては「27B級の知識・推論能力を将来的に一般的なノートPCへ持ってくる可能性を示した」という評価で3社が一致していました。

    【AI考察】意見が分かれた点(要検証情報)

    ChatGPTとGrokは他に、Claude独自の報告であるJulia-1(Supersonic Labs、9月26日公開、1億4,430万パラメータの分類専用モデル)やLFM2.5-VL-3B-DSpark(Liquid AI、9月24日公開、LFM2.5-VL-3Bのための高速化用draft model。約2億7,950万パラメータで単独動作するモデルではない)には触れていませんでした。またGrokが報告したK2 Horizonは一次情報で実在・公開日を確認できたためFACTへ移しましたが、同時にGrokが報告したDesert Ant Labsのオンデバイス専門モデル群(9月8日頃)はChatGPT・Claudeの回答では確認できず、今回は一次情報でも裏取りできなかったため、単独社のみが報告した情報として参考程度に留めます。

    もっとも意見が割れたのはGeminiです。ChatGPT・Claude・Grokの3社がMiniCPM5-2BとTernary Bonsai 2 27Bを新規モデルとして報告した一方、Geminiは「9月中に主要ベンダーが公式公開した汎用の文章生成SLMは見つからなかった」とし、代わりにQwen2.5-7B-InstructやLlama-3.1-8B-Instructといった、2025年以前から存在する既存モデルの継続利用を推奨していました。情報取得時点・検索範囲・参照した情報源などの違いが影響している可能性はありますが、AI間の回答数の比率だけからどちらが正しいとは判断できません。一次情報で実在を確認できたモデル(MiniCPM5-2B・Ternary Bonsai 2 27B・K2 Horizon)については、Geminiの回答にかかわらずFACTとして扱っています。1社対3社という比率だけで機械的に切り捨てず、来月号でも実用性を引き続き検証していきます。

    【筆者コメント(統合評価)】

    MiniCPM5-2Bは、今月確認できた中で最も「16GB RAM CPU環境」という条件に素直に当てはまるモデルだと感じています。あわせて、OpenBMB公式が「既定のmin_p=0.05は反復出力につながる可能性がある」としてmin_p=0.0を推奨している点も見つけましたが、これがどの程度実用上のハードルになるのかは、正直まだ自分では評価できていません。4社ともこの点には触れていなかったので、実際に試す際の確認項目としてまず記録しておき、公式推奨のmin_p=0.0設定を使った場合にどうなるかを自分の環境で確かめてから評価に入りたいと思います。

    Ternary Bonsai 2 27Bは、「小さいモデルを作る」のではなく「大きなモデルを圧縮する」という別方向のアプローチとして重要です。ただし公式ベンチマークで報告されている速度(Apple M5 Maxで46.8 tok/s等)はCPU-onlyでの実測ではなく、専用のllama.cppフォークが必要とされている点には注意が必要です。「モデル本体が5.9GBだから16GB RAM PCで快適」とはまだ言えない段階だと考えています。


    医療特化モデル

    【FACT】一次情報確認済(Google公式、複数のAI回答)

    2026年9月に新規公開された医療特化SLM(Small Language Models)として、今回の調査で一次情報まで確認できた新規モデルはありませんでした(ChatGPT・Claude・Grokともに同様の回答)。MedGemma系については、最新版は引き続き2026年1月13日公開のMedGemma 1.5であり、9月時点で新規リリースは公式リリース履歴上確認できませんでした(出典: Google AI for Developers、Gemmaリリース履歴)。一方、GoogleがMedGemma 1.5の医療現場での活用事例を9月下旬に公式に紹介したとの報告がありましたが、これは新規モデルの公開ではなく既存モデルの活用事例紹介です。

    また、Ling 3.0 Flash Sante(InclusionAI、9月4日公開、約124B総パラメータ/約5.1Bアクティブパラメータの医療特化MoEモデル)についてChatGPTから報告がありましたが、Sante固有の重みが実際に公開されているかどうかは9月時点で確認できておらず、また124B級のMoEモデルであるため、そもそも今回の「GPU無し・16GB RAM」という対象読者のローカル環境向けではありません。

    【AI考察】複数サービスで一致した評価

    各サービスとも、9月は「新モデルの登場」よりも「既存MedGemmaの活用事例の蓄積」が中心という理解で一致していました。日本語の添付文書への適用については、依然として日本語での検証データが不足しているという指摘が共通していました。

    【筆者コメント(統合評価)】

    医療特化モデルについては、しばらく「新モデルの登場」よりも「既存モデルの検証・活用事例の蓄積」を追いかけるフェーズが続きそうです。Ling 3.0 Flash Santeのような大規模医療特化モデルの動きも、ローカル導入の候補としてではなく、クラウド・API側の選択肢として見ておくのが妥当だと考えています。


    汎用SLMの注目アップデート

    【FACT】一次情報確認済(各社公式、Hugging Face)

    9月は、汎用の小規模モデル(10B未満)について、主要ベンダーからの目立った新規公開はあまり多くありませんでした。Qwen・Gemma・Phi・Mistral・Llamaの各系列について、9月中の新規小型モデル公開は確認できませんでした(変更なし)。8月下旬公開のGranite 4.2(IBM、3B/8B/30B、8月25日公開)やQwen3.8-Flash-Next(Alibaba、8月26日公開、125B総パラメータ/6Bアクティブパラメータ)については、前号執筆時点で反映しきれていなかった可能性があるため、今号で補遺として扱います。いずれも16GB RAM環境の直接的な対象ではありませんが、Granite 4.2の3B/8Bクラスは日本語を含むテスト言語で評価されており、RAG・JSON出力・ツール呼び出し向けの候補として注目されています。

    【AI考察】複数サービスで一致した評価

    各社とも、9月は「27B〜30B級を単一GPUで動かす」方向への開発の軸の移動が続いており、8B以下の小型モデルについては各社とも更新が落ち着いていたという評価で一致していました。

    【筆者コメント(統合評価)】

    大型モデルの動きを追いかけつつも、実際に手元の16GB PCで使えるかどうかは別問題であるという姿勢は、今月も変わりません。前号のLFM2.5シリーズ、今号のMiniCPM5-2B・Ternary Bonsai 2 27Bのように、読者の環境に直接関係する変化を優先して追っていきます。


    Embedding/RAG関連の新規モデル

    【FACT】一次情報確認済(各社公式、MTEB Leaderboard)

    2026年9月に公開された主要なEmbeddingモデルとして、今回の調査範囲では新規モデルは確認できませんでした(ChatGPT・Claude・Grokともに同様の回答)。MTEB自体は9月中に複数回(2.20.9〜2.21.8)バージョン更新されていますが、これはベンチマーク基盤の更新であり、新しいEmbeddingモデルの公開ではありません。Ollama上のQwen3-Embedding(0.6B/4B/8B)、bge-m3、nomic-embed-textといった既存モデルが引き続き標準的な選択肢です。

    【筆者コメント】

    Embedding分野は9月も動きが落ち着いた月でした。前号から持ち越している「日本語医療テキストでの検索精度比較」の宿題は、引き続き持ち越しになります。


    Ollama・LM Studio ツールアップデート(補助情報)

    【FACT】一次情報確認済(GitHub Releases、公式Changelog。ただし正確なバージョン番号・日付には情報源間でばらつきがあります)

    Ollamaは9月中にv0.33.2(8月末時点)からv0.34.4(9月23日)まで複数回更新されました。主な変更点として、ChatGPT Desktopからのモデル利用、Apple Siliconでのstructured output性能改善、OpenAI互換クライアント向けtool search対応、thinking(推論プロセス)制御のAPI/CLI公開、MLX関連のメモリ管理改善などが挙げられています。9月25日にはv0.40.0-rc0(プレリリース)も公開され、Apple SiliconでMLX対応モデルを既定でMLX実行する変更が進められています。

    セキュリティ面では、NVD(米国立標準技術研究所の脆弱性データベース)でCVE-2026-46603を確認しました。golang.org/x/image/vp8l(Goの画像処理ライブラリ)のVP8Lデコーダに、細工された画像を処理させるとHuffman木の処理で過剰にメモリを確保してしまう脆弱性で、CVSS 7.5(High)、2026年8月14日公開、修正版はgolang.org/x/image 0.45.0以降です。Ollamaはこのライブラリを利用しているため影響を受けますが、Ollama本家リポジトリのgo.modを2026年9月29日時点で確認したところ、golang.org/x/imageの依存バージョンはv0.22.0のままで、修正版(0.45.0以降)へはまだ更新されていませんでした。院内でOllamaを画像入力付きモデルで運用している場合、次回アップデート時にこの依存バージョンが更新されているかを確認する価値があります。

    モデルライブラリでは、IBM Granite 4.2(3B/8B/30B、Apache 2.0、日本語含む対応言語)がOllama公式ライブラリに掲載されているのが確認できました。8bは5.3GB・16GB RAM環境でも実用範囲内で、RAG・JSON出力・ツール呼び出し向けの設計のため、添付文書からの項目抽出用途との相性が良いと考えられます。ベクトルDB側では、Qdrant v1.19.1(9月4日)で検索の高速化とコレクション名に関するセキュリティ修正が行われています。

    LM Studioは0.4.24(9月9日)・0.4.25(9月19日)へ更新されました。0.4.24では、GGUFモデル読み込み時の高度なllama.cpp引数オーバーライド、DSpark/DFlash assistant drafterの互換性改善、Loaded Instances UIのコンテキスト長表示修正、APIでの画像+テキスト入力処理の修正が行われています。0.4.25では、Apple Silicon(M3以降・macOS 26.4以降)向けにSplashエンジン(Qwen3.8系向け高速推論エンジン)が追加されましたが、これは動作にユニファイドメモリ36GB以上を要するため、16GB Windows環境には直接関係しません。この点は4社の回答が一致しており、確度が高いと考えられます。

    【筆者コメント】

    両ツールとも、9月は新しいチャット機能そのものより、モデル実行基盤・API・互換性の改善が中心の月でした。Ollama・LM Studioのどちらかへ乗り換えるべき理由は今月は見当たらず、現行の運用を維持しつつ、structured output・thinking制御まわりの改善を必要に応じて取り入れる、という判断で良さそうです。CVE-2026-46603については、Ollama本家のgo.modが9月29日時点でまだ修正版のx/imageを取り込んでいないことを確認できたので、画像入力を伴う運用をしている場合は、修正版が取り込まれるまでは細工された画像ファイルを読み込ませない運用上の注意が必要です。次回の定例更新時に、この依存バージョンが更新されたかを確認する予定です。


    今月の観測結果

    2026年9月を一言で言えば、「MiniCPM5-2Bという小型モデルと、Ternary Bonsai 2 27Bという超低ビット圧縮モデルという、対照的な2方向から16GB RAMの壁に挑んだ月。あわせて、AIが一致して勧めるMiniCPM5-2Bについても、自分でまだ評価できていない確認事項が見つかった月」です。

    OpenBMBがMiniCPM5-2B(9/7)を公開。2.52B・CPU-only対応・Q4_K_Mで約1.56GB

    PrismMLがTernary Bonsai 2 27B(9/17)を公開。Qwen3.8-27B(約55.6GB、BF16)を5.9GBまで圧縮、ベース比98.2%性能維持

    IFMがK2 Horizon(9/3)を公開。0.9B・3.7B・7Bを含む6モデルで、オンデバイス用途向け

    OpenBMB公式ドキュメントで、MiniCPM5-2Bはllama.cppの既定min_p=0.05だと反復出力につながる可能性があり、min_p=0.0が推奨されていることを確認。発生条件や実務利用への影響は未評価で、4社いずれの回答にも含まれていなかった情報

    Ollamaがv0.33.2からv0.34.4へ更新。structured output・thinking制御・ChatGPT Desktop連携などを追加。CVE-2026-46603(VP8Lデコーダのメモリ枯渇DoS、CVSS 7.5)は、Ollama本家go.modが9/29時点で未修正のx/imageバージョンのままであることを確認

    LM Studioが0.4.24・0.4.25へ更新。GGUFロード改善とApple Silicon向けSplashエンジン追加

    医療特化モデルの新規公開はなし。MedGemma 1.5の活用事例紹介が中心

    Embeddingモデルの新規公開もなし

    Geminiのみ、MiniCPM5-2B等の新規モデルを「なし」と報告し、他3社と評価が分かれた


    来月確認したい仮説

    検証課題:MiniCPM5-2BのGGUF版で報告されている反復ループについて、実際にどのような条件で発生するのかを確認する。日本語の添付文書要約タスクでも同様の現象が起こるのか、OpenBMB公式推奨のmin_p=0.0設定でどう変化するのかを試してみたい。

    まだ自分では評価できていない項目なので、まずダウンロードして手元の環境・タスクで確かめる予定です。

    仮説:Ternary Bonsai 2 27Bは、専用llama.cppフォーク以外での実行が可能になるか。また、実際のCPU-only環境でのtok/sはどの程度か。

    現時点では公式のCPU実測値がなく、10月に継続確認します。

    仮説:v0.32.11〜15の長文生成回帰バグ(8月号で報告)は、9月のOllama 0.34系列で解消されているか。

    今回の4社の回答では直接の言及がなかったため、10月にあらためて確認します。

    仮説:LFM2.5-2.6B・LFM2.5-VL-3Bの16GB RAM CPU環境での実測(8月号から持ち越し)はいつ実施できるか。

    継続して持ち越しになりますが、次号までに着手したいと考えています。


    DI担当をしていた頃から、「新しい道具が出たらまず何ができるかを確かめる」のが習慣でした。

    今月見えてきたのは、16GB RAMという制約への挑み方が「小さく作る」か「大きく圧縮する」かの2方向にはっきり分かれてきたという変化です。MiniCPM5-2BとTernary Bonsai 2 27Bは、その両極を象徴する2つのモデルだと感じています。

    一方で、AIの回答をそのまま記事にしなかったことで、今月も一つ、自分ではまだ判断できない情報にたどり着きました。4社が揃って好意的に評価していたMiniCPM5-2Bについて、開発元OpenBMB自身の公式ドキュメントを確認すると、既定設定では反復出力につながりうるため別の設定を推奨しているという記載があったことです。これが実務でどれほど重要な違いなのか、今の自分にはまだ評価できません。「複数のAIが一致している」ことは「公式の推奨設定まで含めて検証済み」であることの証明にはならない、ということだけは、今月もあらためて実感しています。

    次の号では、今月見つけた候補(MiniCPM5-2B・Ternary Bonsai 2 27B・K2 Horizon)を実際に試した結果、特にMiniCPM5-2Bが公式推奨のmin_p=0.0設定でどう変わるかを報告します。


    このシリーズは「未来予測」ではなく「観測記録」です。 その時点で確認できた事実と、各AIの見解、そして筆者自身の検証結果を区別しながら毎月記録していきます。数か月後、あるいは1年後に読み返したとき、「ローカルLLMがどのように進化してきたか」を振り返るための資料として残すことも、このシリーズの目的です。


    → なぜ私は「医療現場AI実装」を発信するのか

    → ChatGPTだけ使っている薬剤師へ

    → 添付文書もIFも読み切れない時代に。DI薬剤師が最初に生成AIを使い始めた5つの領域

    → 【2026年8月】ローカルLLM観測ログ。「エージェント化」の奔流とAI回答の検証で見えた2つの誤り


    今月の観測で「これは現場でも気になる」という話題があれば、コメントで教えてください。来月も同じプロンプトを投げて、変化を追っていきます。


    【AI調査・二次情報について】本記事のAI考察セクションは、ChatGPT(一時チャット)・Claude・Gemini・Grokへの定点調査結果に基づいています。FACTセクションを含め、URL等は読者ご自身による一次確認を推奨します。


    参考情報(一次情報確認用)

    MiniCPM5-2B公式GitHub(OpenBMB): https://github.com/openbmb/minicpm

    MiniCPM5-2B GGUF(Hugging Face): https://huggingface.co/openbmb/MiniCPM5-2B-GGUF

    Ternary Bonsai 2 27B公式発表(PrismML): https://prismml.com/news/bonsai-2-27b

    Ternary Bonsai 2 27B GGUF(Hugging Face): https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf

    K2 Horizonプレスリリース(IFM): https://ifm.ai/k2/press-release/

    K2 Horizon(Hugging Face): https://huggingface.co/collections/IFM/k2-horizon

    MedGemmaモデルカード(Google): https://developers.google.com/health-ai-developer-foundations/medgemma/model-card

    Ollama公式リリースノート: https://github.com/ollama/ollama/releases

    Ollama go.mod(依存バージョン確認用): https://github.com/ollama/ollama/blob/main/go.mod

    LM Studio公式Changelog: https://lmstudio.ai/changelog

    CVE-2026-46603(NVD): https://nvd.nist.gov/vuln/detail/CVE-2026-46603

     
     
    薬剤師 / 薬学博士 病院・調剤薬局・ドラッグストア・研究・医療情報・企業を経験。 生成AI・ローカルLLM・AIエージェントを用いた「薬剤師実務×AI支援」を探究しています。 DI業務、適応外使用調査、レジメン管理、文献検索、研究支援、医療データ活用などを、実践ベースで発信。

    あなたへのおすすめ