メインコンテンツへスキップ
見出し画像

【現状のSLM事情】LLMの中でもSLMを特化して使い込みたい所存。現状のベストプラクティスを探ってみよう

    はじめに:SLMを使いこなしたいです

    SLMについて、現状の最適解を知りたい素人の調べた結果です。
    これを聞いたうえで個人で調べるのが一番です。

    評価基準は人気、性能、安定性、導入の容易さです。
    尖っている性能もいっぱいあったんですが、この記事の基準では評価を下げる形です。

    更に今回は、スタンドアロンでも活躍できるSLM、というのを1個の基準にしたいんです。勿論、サブエージェントでも活躍はして欲しい。

    スタンドアロンとは、コンピュータや情報機器がネットワークや他の機器に接続せず、単独で動作している環境のこと

    画像

    で、結論としては
    ・使い勝手によっては去年のフロンティア級の性能をSLMでも再現可能
    ・ただし、理解の上にその性能は成り立つ。

    画像

    用語の整理を先にしないと大変です

    今回SLMについて調べるんですが、この界隈は物凄く定義が不明瞭みたいで、現状は整理しないと会話スタートしにくい問題が有りまして。

    SLM :Small Language Model(〜15B)

    色んな解釈があって、4BまでがSLMだ。いや7Bだ。いやいや12BもSLMだ。など、色々有りすぎて。SLM自体も明確な決め事がされていない。
    NTTは10Bまでと言ってて、Claudeは15Bといい、Mistralは4Bまでじゃない?なんて言う始末。

    なので、今回は勝手にSLMの中でも3つに分けて、それぞれS/M/Lに分けちゃおうと思います。全部を同じ比較で出すと変な表になっちゃったんです。

    4BまでをSSLM、5~9BまでMSLM、10~15BまでをLSLMとします。

    だって、わたしはLSLMのレベルを使わないことが多いんですもん。
    わたしがよく使うのはSSLMとMSLM。1日100回以上は確実に指示している

    これは環境によると思うんですが、27Bがらっくらく動く環境でのSLMは12Bでも入っちゃう。そんな話だと思うんです。9Bまで使える人や4Bまでしか使えない人など様々で、そういうのを無理やり加味しています。

    SLMの役割はこんな感じ

    • 高速・低コスト・決定論的寄り(定型タスクが安定)

    • CPU / エッジ / オンプレで動作、データを外部に出さない

    • ドメイン特化ファインチューニングで専門領域では LLM を上回る

    • 分類・抽出・タグ付け・整形・トーン変換・Guardrail に最適

    • 弱点:広範な文脈理解・複雑推論・エッジケース

    MLM:Masked Language ModelでBERT系やJev関連ツールのこと。

    画像

    悲しいことに、MiddleLanguageModelと一部界隈で呼ばれていた15B~39Bまでのサイズ帯。呼び名を最近のJev系のツールに奪われているのか、海外コミュニティでMLMはこっちの意味合いで呼ばれていました。

    middleさん、どこいったんや…。凄いわかりやすかったのに。

    画像
    こんな感じ。

    中型Model:無理やりな呼び名でごめんなさい。言いようを失いました。

    15B~39Bをそう呼ばせていただこうと思います。流石に海外勢も40Bを超え始めると中型でもないやんけ、って怒っていたので。

    コード生成・中程度の要約・RAG 応答・通常の対話。ここらへんが高いレベルで出来るバランス層と見ています。

    小型API:GPT6LunaやDeepseekV4.1Flash、Sonet5など

    安く戦うためのクラウドModel。比較対象として、そう呼ばせていただきます。GPT6Lunaが来て「あれ?27B以上のModelいるのかな?」ってなりました。

    Qwen4-27Bくん、早く着てくれっ。
    …Sonet5、最近一切使ってないなぁ。

    画像

    LLM:Large Language Model(フロンティア級)

    • 複雑推論・曖昧な要求・跨領域の統合・創造タスクが強い

    • エッジケース処理、特定ボイス/トーンの高難度生成

    • 低ボリューム・高価値の出力に向く

    • 弱点:高コスト・低速・過剰思考(overthinking)・監査困難

    ここではLLMはサイズの意味合いでお話させてもらうことが多いです。
    大型APIと書こうとしましたが、ローカルで大きなのを使う人も…いるんか?ってなったので、一応LLMに。正直【逸般の誤家庭】だと思う。

    ごっちゃにならないように、こちらも頑張りますが、読み手も試される記事になってしまうかもです。努力します。


    で、最適そうなModelをSLM3段階で探してきましたー。

    ちょっと画像にすると情報量多すぎるので、報告書で勘弁してください。


    まずは~4Bです。

    ココらへんはCPUでも動くので、条件整えばメモリ8~16GBあれば脳死で使えたりします。LFMも入れたかったんですが好みの押しつけは良くないなと思ったので人気・性能で選んでます。

    このサイズ帯でスタンドアロン型の運用となると、かなり運用内容を選ぶ。
    わたしは自動スクリプトを補助に持たせて、その管理させるのが一番いい気がしています。

    スマホ内で2BのMiniCPM6を使って、RSS取得→ルールに基づいた指定のフォルダに格納→データ名操作→報告って感じの雑用が実際の例ですかね。

    アイデア勝負なサイズです


    次に中核とも言える5~9Bです。

    といっても5~6Bは殆ど存在していないので、7~9Bが主。というか9Bが主です。ここはかなり実用性が高いので、Agentでのリサーチや動画要約、部分的なCodingと幅も一気に広がります。
    スタンドアロン型での運用はここが中心になりそうです。

    個人的にはOxCoder-9B一択なんですが、Mac環境では何故か評価が高くないんです。リサーチのやり方なのか、どうしてでしょうかね?
    どう変わるのか、私の環境では理解らなくって。

    MLXやAppleSiliconで最適化されましたよ、って報告無いだけなんじゃないかと勝手に疑っていますが、その確証も探せなかったので諦めました。

    Macに最適化している他のModelと、WindowsやLinuxでも性能高いOxCoder-9B。そこは環境で使い分けをオススメします。

    変なErrorとかないなら、MacさんでもOxCoder-9Bは一見の価値アリです。 

    OxCoder-9Bを動画要約やPPT作成で使われている記事さんです。
    PPTいけるんだ、ってむっちゃ驚きました。見てから私も同じ使い方し始めましたー。

    因みにこんなのも。

    これはMythosやOpus4.8で強化学習していたModel。
    意外と出力良い時もあったんですが、今はちょっと型落ち感を感じます。
    弱みもはっきりしてるんですが、Claude Opus 4.6と同等のツール選択精度(96%)なので、比較対象としても良ければ。


    最後に10~12Bです

    3Bの差は意外と大きい。普通に出力がちょっといい。
    でもわたしはOxCoder-9Bを使うんですけども。

    12Bを超えるとCoding出力はかなり安定してる。gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUFの名前の長さは伊達じゃない。
    コピペじゃないと何処まで打ったのか判らなくなるんです。辛い

    何より、一番日本語が安定しているので、ストレスがない。
    わたしはもう、リソースがないんで9Bサイズでのリサーチは英語出力させてる場合が多いんですけどコレならその心配はない。偉いです

    【中国語が混ざる、中国語っぽい感じが混ざる】という他のQwen派生Modelだとかなり起きるトラブルがコレだと皆無。ちょびっと嬉しい。


    複数モデル併用の5パターン

    2026年のサーベイ(arXiv:2603.04445)が整理する設計空間と、実務で定着したパターンの対応。多くのシステムは組み合わせて使う。

    スタンドアロンで使う時は、ここを飛ばしちゃって全然大丈夫です。

    どのパターンで使うか決めてから、最適なModelを選ぶと失敗しないよってやつみたいです。個人的には先にModel使ってからどんな事に使おっかなと遊んでいたので、順番逆だったと知ってびびりました。


    パターン1:Routing— 問いごとに最適モデルを1つ選ぶ

    作業の前に何かしらのルーティング層を挟んで、SLMを使うパターン。いま流行ってるJevを挟んでもいいし、OSSを挟んでもいいかもです。

    私はOmniRouter挟んだり、zephel01さんのCodeRouterを挟んだりしています。フロンティア級の判断を一回挟んで渡せる作業をSLMに渡していく感じ。むっちゃ節約できて嬉しい。

    画像
    • 静的ルーター(規則 / カテゴリ):最も简单。ドメイン別モデル選定や taxonomy 分類。更新頻度が低いなら十分。

    • 学習ルーター(BERT 級分類器 / preference データ):RouteLLM 系。インダイストリは優秀だが分布外(OOD)に弱い。

    • SLM フロントドア:人間可読ラベルを出し、ラベル→モデル層・圧縮方針・品質ゲートを一括ルックアップ。監査・上書きが可能。

    • LLM-as-router:1ホップ増・コスト増・ガバナンス複雑化。分類用途には割高(非推奨、検証用途なら可)。

    実績:Microsoft Foundry Model Router(18モデル、Balanced/Quality/Cost の3モード)— ルートモードを「SLO レバー」として扱う設計。


    パターン2:Cascade— 小さい方から試して必要な時だけ上げる

    こんな方法あるんだ、って驚きました。小ちゃいので挑戦して駄目なら強いのを引っ張ってくる田舎のヤンキー社会みたいな感じ。

    1 最上流の SLM / 小型モデルで回答生成

    2 プロセス検証器 or 自己信頼度(確信度)で品質を採点 — 自己申告の「confidence」は過信注意(LLM は過信傾向)

    3 閾値未満なら一段上のモデルへ再実行。必要なら best-of-n(小さいモデルを n 回 sampling して選別)で品質補強

    4 合意が取れない(multi-judge agreement 低)時だけフロンティアへ

    • 実績: SELECT-THEN-ROUTE は 91.7%→94.3%(+2.6pt)に加えコスト 4分の1。BEST-Route は最大60%削減・性能劣化1%未満。

    • 教訓: カスケード成否の鍵は quality estimation の精度。ルール固定より「閾値 + 判断器」の校正が効く。

    • 単発ルーティングとの使い分け: 静的ルーティングは OOD で崩れやすい。カスケード+検証は実行中の失敗を拾えるため実運用向き。


    パターン3:オーケストレーター&ワーカー  上位が計画し、下位が実行

    これは1のルーティングと同義になる事も多いです。違いは作業の振り分け後に一緒にするかしないかだそうです。

    画像
    • Orchestrator は意図・制約・終了条件を所有し、実装はしない。ワーカーは狭いタスク、統合は決定論的コード。

    • 研究事例:オーケストレーターの各ステップ呼び出しをローカルの小さな学習済みモデルに置換(HALO)し、LLM 呼び出しを 40–50% 削減しつつ計画精度を近フロンティア水準に。

    • 失敗モード:ワーカー間の出力競合・二重リトライ。マージはコードで行い、LLM の好みに任せるな。


    パターン4:ステップ級エスカレーション(エージェント用)— 実行中に上げる

    これは最近のAgentが賢いので作業中にバトンタッチ出来るよ、って話らしいですね。小型APIでも最近はしてくれるのはでかい。

    クエリ単位の事前ルーティングはエージェントに合わない。なので、難易度は実行途中で変化する(失敗したツールコール、途切れた観測、蓄積する局所エラー)。

    1 SLM が既定で行動(policy)。各ステップでプロセス検証器が候補アクションを採点

    2 残りリスクが閾値 τ を超えた時だけ teacher LLM に相談(routed escalation)

    3 リスク校正は CVaR(テールリスク)ベースで管理 — 平均精度ではなく「最悪ケースの暴走」を抑える

    • R2V-Agent(2026): リスク校正付きステップ級ルーティングで、SLM の安さと LLM の安全網を両立。

    • ACRouter(2026): Context→Action→Feedback ループ。検証結果を記憶に還元し、静的ルーターが OOD で崩れる問題を解消。実験で最良の累積 regret。


    パターン5:並列化 + 評価者–最適化(Verifier Gate)

    一番わかりやすいのがSakanaAIのfusion系だという話。あれは7BレベルのSLMがオーケストレーターになって、横に評価用のModelを用意する形。

    • 並列実行: 同じ入力を複数モデルに飛ばし、多数決 / judge で選択(精度重視の低リスク用途)。

    • Evaluator-Optimizer: 生成(LLM/SLM)→ 検証(LLM judge or 決定論チェック)→ フィードバックで反復。

    • SDB 契約(2026): ①提案=LLM、②検証=決定論チェック、③commit=永続化、④reject シグナル。この境界を明示した設計が事故を減らす。

    • 検証器が強い信号を出すと、オーケストレーター自体を小さなモデルで学習可能(検証合格の軌跡が教師データになる)。


    このパターンを元に、わたしの環境を見ていくとこんな感じ。

    パターンは3のオーケストレーション。
    使用SLMはOxCoder-9BをメインPCに、サブPCに2BのMiniCPM6を採用。

    基本は無料枠でやってるんで、9月23日現在であればOpus5.5をオーケストレーターとメインWorkerにして、サブAgentを無料枠+OxCoder9B。節約メインで使ってる環境です。昨日までは司令塔はOpus5でした。

    RouterはOmniRouterとCodeRouter、無料枠使うためだけにOpenRouterも使ってます。

    クラウドに出したくない情報を書く際には、違うサンドボックス環境に持っていってOxCoder-9Bを使ってます。


    以下はRouterを検討する時に見といたほうが良い表です。

    画像


    実務のベストプラクティスを調べてみよう

    海外で実際に使用されている状況を、MuseSpark1.3+Opencode、HermesAgent+OpenRouter無料枠でお互いに評価させながらの2方向から、徹底的に調べさせてみましたー。

    設計に関するベストプラクティス

    • 1枚のルックアップテーブルで「タスクラベル → モデル層 / 圧縮方針 / 出力予算 / 品質ゲート」を一元化する。1画面で管理はAgentにも優しい。

    • ルートモードを Balanced / Quality / Cost の SLO レバーとして公開し、プロダクト面ごとに割当( regulated 領域は Quality 固定)。これは参考になりますね。わたしは基本、中身拡充してUIは後で好きな形にしたいのでUIデザインにコスト割いてほしくない。使っていこう。

    • 有効コンテキスト長は サブセット内最小モデルに律速される → モデル群を常に見直す。これ、使ってますが助かります。コンテキストの長さなんて毎回設定できませんー。

    • マージ・commit・副作用は決定論的コード。LLM は提案のみ。

    • 終了条件(stop conditions)と検証ゲートを明示。オーケストレーターは黙って実装しない。

    ルーティングの信号

    • 難易度だけで判断しない — 難易度はルーティング時点で不可視(「契約を要約して」が検索/コンプライアンス/ツール呼び出しを誘出しを誘発しうる)。

    • コスト・レイテンシ・専門性・信頼性・ガバナンスを同時に扱う最適化として定式化する。

    • レイテンシ観測にはサービング状態(ウォームキャッシュ、ホット负载、ルーター自体のオーバーヘッド)を含める。理論上速いモデルが体感では遅いことがある。

    • 難易度予測 + best-of-n の組合せ(BEST-Route 型)は「小さいモデルを n 回回す方がフロンティア1回より安い」計算が成立する時に強い。

    • 校正図(confidence vs correctness)を実トラフィックで監視。自己申告 confidence の過信は定説。

    運用に関するベストプラクティス

    • Phase 1 ベースライン → Phase 2 ガバナンス → Phase 3 最適化。 まず全モデル群 + Balanced で response.model をログし、実分布を掴む。

    • モデル追加・価格改定・新タスク流入のたびにルーティングを再校正(静的ルーターは鮮度が命)。

    • フォールバック:下位モデル障害時は静かに上位へ、上位枯渇時は低リスクタスクのみ下位へ( fail-open / fail-safe をタスクリスクで使い分け)。

    • トレース単位で監視:委任ループ、エラーの連鎖、単一ワーカーの出力独占など5つの代表的失敗を記録・負荷試験。

    • 承認済みモデルリスト・データレジデンスをルーターの制約として宣言(Governance は後付けしない)。

    SLM vs LLM+プロンプトの判断(2025–26 実証)

    • ドメイン特化 + 構造化出力: ファインチューニング済み SLM が優位(平均 +10% 品質、レイテンシ・コストも低)。つまりドメイン知識を渡せる人間は、クラウドLLMを使用するよりも良いサービスを生み出せるってことです。むっっちゃ、そうなりてーです。

    • 条件分岐・ネストの多い複雑ロジック: SLM が弱い領域。ここだけ上位 LLM に逃がすのは必要な処理ですね。

    • RAG とファインチューニングは競合でなく併用:知識は RAG、様式・パターン学習は重みへ。これはマストのようですね。SLMの横には必要知識を詰め込んだRAG。都度、必要資料を渡せるなら問題ないけど、スタンドアロンで動かすならばマストであったほうが良さそうですね。

    • 高ステークス(法務/医療/金融・複雑多段推論): ローカル SLM をやめ API フロンティアに金を払う — ここでの節約は事故費で返ってくるぞって米国での判断だそうです。そもそも日本ではこの分野でクラウドLLMを使えるのかって問題も大きい。


    アンチパターンもあるみたい。

    画像

    ✗ やってはいけないこと

    • 全部フロンティア LLM(過剰思考・過払い・遅延の三重損)

    • 全部 SLM(高-stakes・曖昧タスクで品質崩壊)

    • 「難しそうだから LLM」の直感ルールだけで本番運用

    • 不透明な選好スコアのみで監査不能なルーティング

    • LLM にマージ/承認/副作用コミットを任せる

    • ベンチマーク平均だけでモデル選定(タスク別品質は大きく乖離する)

    • 単価だけでコスト見積り(呼び出し回数・キャッシュ・再試行で逆転する)

    • ルーターを一度作って放置(モデル世代交代で精度が腐る)

    ✓ 有効な習慣はこんな感じ。

    • SLM で 70–90% を捌き、中型ModelやLLM を「例外処理系」として運用する

    • 検証器(決定論チェック / multi-judge)を必ず挟む

    • ルート結果を人間可読ラベルにして上書き可能にする

    • Quality / Balanced / Cost の3モードを SLO として公開する

    • 実トラフィックの分布・コスト・校正を毎月レビュー

    • 閉域データは SLM で先に処理し、必要部分だけ匿名化して上位へ

    • 年2回、ティア境界を再評価(SLM の上昇は速い)


    感想:進化し過ぎで常識は半月持たない

    こんな感じですかねー?

    わたしはスタンドアロン型であれば解決力とサイズのバランスの良いOxCoder-9Bを最押ししているんですが、Mac環境に関してはちょっと理解らなくって。

    もう少し待つと、Qwen4-27Bという新しいロマンを秘めた中型Modelもでてきます。

    そうなるとLLMではなくって、中型Model+SLMという使い分けでも全然問題解決が進むわけです。最高だーっ


    更に、です。
    投稿日に飛び込んできたOpus5.5とGPT6のSol&Luna。無茶苦茶自動スクリプトを書きまくれます。なんならLunaは無限に書けそうな勢いの安さ。

    Opus5.5で指示させてLunaで書き出す。
    で、サブエージェントのSLMでテストさせるとそのまま実用に耐える仕組み化ができるのかなーと今やってますが、殆どわたしの手数を要しません。

    …クビになったかもです。


    ココまで書いといてなんですけど、「◯◯っていうSLMで、こんな事をしたいので環境を設定して下さい」の一撃で終わる時代はもう来ている可能性もあります。

    今のところは結構補助も必要かなーくらいに見ていますが、そこら辺は明日まとめて投稿してみようと思います。むっちゃOpus5.5やGPT6兄弟のベストプラクティス集めまくってますーっ

    以上です。読んでくださって感謝ですー。

    参考文献

    • Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey — arXiv:2603.04445(2026、ルーティング/カスケードの設計空間の全体像)

    • BEST-Route: Adaptive LLM Routing with Test-Time Optimal Compute — ICML 2025(難易度予測 + best-of-n で60%削減)

    • SELECT-THEN-ROUTE: Taxonomy guided Routing — EMNLP 2025 Industry(91.7→94.3%、コスト1/4)

    • R2V-Agent: Teaching SLMs When to Ask for Help — arXiv:2605.16604(ステップ級リスク校正ルーティング)

    • Agent-as-a-Router(ACRouter)— arXiv:2606.22902(C-A-F ループ、OOD で最良)

    • Confident or Seek Stronger: Uncertainty-Based On-device LLM Routing — arXiv:2502.04428(確信度ベース SLM→LLM ルーティングの実務指針)

    • Fine-Tune an SLM or Prompt an LLM? — arXiv:2505.24189(構造化ドメインタスクは SLM FT が+10%)

    • A Methodology for Selecting and Composing Runtime Architecture Patterns for Production LLM Agents — arXiv:2605.20173(SDB: 提案/検証/commit 契約)

    • Model Routing Is Simple. Until It Isn't. — Hugging Face / IBM Research(2026、単価≠実コスト、難易度は不可視)

    • Architecting Cost-Aware LLM Workloads with Model Router in Microsoft Foundry(Balanced/Quality/Cost モード設計)

    • Evaluating SLMs for Front-Door Routing — arXiv:2604.02367

    • NVIDIA「Small Language Models are the Future of Agentic AI」(2026、異質 SLM/LLM ルーティングの実装例)

    • Red Hat「SLM と LLM」/ Microsoft Azure「小規模言語モデルとは」(基礎比較)

    • Hymba: Hybrid-head Architecture for SLM — ICLR 2025 Spotlight(Attention+SSM ハイブリッドで 3.5× 吸吐量)

    最終更新: 2026-09-22、23 / このページは研究・記事横断の要約であり、特定ベンダーの公式見解ではありません。モデル名・価格は変動するため導入時は最新情報を確認してください。

    あなたへのおすすめ