
ローカル LLM を「蒸留」で軽量化した話
はじめに
KeyVoice という音声入力アプリを開発していますが、このアプリの中核に「整形 (Refiner)」と呼んでいる処理があり、音声認識が吐き出した荒いテキストを LLM で読みやすく整える役割を担っています。話し言葉のままだとフィラーや言い淀みが残るので、その層を綺麗に削って読めるテキストにする処理です。地味ですが、ユーザー体験を大きく左右します。
ところが、この整形処理は KeyVoice 全体のなかでもボトルネックになりやすい部分でもあります。話し終わってからテキストが出てくるまでの「待ち時間」をまるごと担当する処理なので、ここが重ければ、音声入力という体験そのものが重くなってしまう。
V0.1 のころは、汎用の 4B クラス LLM をそのままローカルに乗せて、この整形をやらせていました。一応動いてはいたのですが、計測してみると短文 (60 文字前後) の整形だけで 0.88 秒、長文 (500 文字超) だと 5 秒以上かかっていた。話し終わってから整形済みのテキストが画面に出るまでの間が、体感ではっきり分かる遅さでした。
人が「一瞬」と感じる境目はだいたい 0.2 秒と言われています。当時の Refiner はその 4 倍以上待たせていたことになる。心のどこかにずっと引っかかりが残っていたのは、数字を見ればそれもそのはず。
「もう少し速くしたい」「もう少し小さくしたい」「でも整形の品質は譲りたくない」。
この三つを同時に満たすやり方が、汎用 LLM をそのまま使い続ける路線では見えてきませんでした。速さを取れば品質が落ち、品質を取れば重くなる。妥協点を探っているうちに、これは根っこから設計をやり直したほうが早いんじゃないか、と感じるようになりました。
そこで V0.2 では、本格的に「自分のユースケースに最適化したモデルを作る」方向へ舵を切ることに。具体的には、ファインチューニングの領域に踏み込んでみたのです。
ただ、いざ調べはじめると、ファインチューニングと一口に言っても複数の流派があります。まずはそこを整理するところから始める必要がありました。
このメモでは、その整理から V0.2 完成までの設計の流れを、ラフな感覚で書き残しておきます。
ファインチューニングの選択肢を整理する
最初は「ファインチューニング = SFT」くらいのざっくりした認識だった。が、設計の前提を詰めていくと、それぞれが用途も性格も異なる手法だと分かってきた。
整理してみると、現実的に取れる選択肢はだいたい以下の四つに分かれる。一つずつ、自分のユースケースとの相性を確かめながら見ていった。
1. SFT (Supervised Fine-Tuning)
「こういう入力にはこういう出力を返してね」を、教師データで学習させる方式。
入力と理想出力のペアを大量に用意するのが基本。タスク特化のファインチューニングとしては最も素直な手法で、多くのケースの出発点になる。「ある程度きれいな正解を用意できるタスク」とは相性がいい。
2. DPO / RLHF
「A の回答より B のほうが良い」という人間の選好データで学習させる方式。
ChatGPT 系の対話っぽさを身につけているのは、この系統だと言われている。DPO は RLHF の簡略版で、実装コストが大きく抑えられる。「正解を一意に定義しにくいが、好みは判断できる」タスクと相性がいい。
ただ、テキスト整形のように「正解の出力」が比較的明確に定義できるタスクでは、選好データを集める手間より SFT のほうが筋がよかった。整形の好みは個人差があるので将来的には DPO も視野に入るが、V0.2 のフェーズではいったん見送り。
3. LoRA / QLoRA
全パラメータを更新せず、小さな差分だけ学習する手法。
「手法」というより「学習効率を上げる仕組み」に近く、SFT / DPO と組み合わせて使う前提のもの。ローカルマシンで現実的な時間で学習を回すには、ほぼ必須の選択肢になる。Mac 一台で個人開発する自分にとっては、ここはほぼ自動的に採用が決まった。
4. Knowledge Distillation (蒸留)
大きいモデル (Teacher) の振る舞いを、小さいモデル (Student) に学習させる手法。「賢いけど小さくて速い」モデルが手に入るのが狙い。
V0.2 で採用したのはこれ。なぜこれを選んだのかは次の節に書きます。
なぜ蒸留を選んだか
選択肢を眺めていて、自然と蒸留に手が伸びたのには、KeyVoice の Refiner が抱えている制約が関係している。
整理すると、こんな三つだった。
・速度が重要 — 音声入力直後にユーザーが結果を見るので、レスポンスが遅いと体験が崩壊する。「正確だけど遅い」は許容できない
・ローカル動作が前提 — ユーザーの Mac で動かす。GPU が貧弱な環境もあるし、メモリも限られる
・整形品質は譲れない — 質の低いモデルになるくらいなら、機能ごと外したほうがマシ
この三つを同時に満たすには、結局のところ、
> 「大きいモデルと同じくらい賢いけど、小さくて速いモデル」
が必要だった。
SFT 単独でゼロから小さいモデルを賢くする路線も、最初は考えた。だが、そもそも小さいモデルの素地に乗らない知識をどうやって埋め込むか、という壁にすぐぶつかる。むしろ、すでに賢く育っている大きいモデルから、必要な部分だけ移し替えるほうが筋がよさそうだ — そう感じはじめた。
これがまさに、蒸留が得意とする領域そのものだ。
「化学の蒸留」という比喩で語られる理由も、このメンタルモデルで腑に落ちる。大きく複雑な液体(大きいモデル)から、本当に欲しい成分(特定タスクの能力)だけを取り出して、小さな容器(小さいモデル)に詰めなおす。最初は仰々しく感じる名前だったが、こうやって理解すると意外と素直なネーミングだ、と思えるようになった。
---
V0.2 の構成
具体的な数値や設定値には踏み込まず、大きな流れだけ整理しておきます。
実際にやってみると、蒸留は「Teacher を呼んでくる → 学習データを作る → Student を学習させる」というだけの単純な話ではなかった。三つのステップそれぞれに「ここで何を考えるべきか」というポイントがあって、ループを回しながら少しずつ詰めていった。
Step 1. Teacher で合成データを生成
大きく賢いモデルを Teacher として、KeyVoice の実ユースケースに近い「整形前テキスト → 整形後テキスト」のペアを大量に作る。
ここで一番悩んだのは「自分のユースケースに合ったデータをどう作るか」だった。汎用的なデータでは Refiner として欲しい振る舞いにならない。それどころか、Teacher の癖だけが移って、肝心の「KeyVoice として整形してほしい挙動」がブレてしまう。
具体的には、実ユーザーの音声入力に近い揺らぎ(言い淀み、冗長な相槌、誤認識による文字化け)を Input 側にデザインし、Teacher にきれいな整形結果を返してもらう、という形に落ち着いた。最終的なデータセットは 46 言語 × 10 トピック構成で、約 3,361 ペア。Input の設計品質が、最終モデルの「KeyVoice らしさ」を決めると感じた工程だった。
Step 2. Student モデルを SFT
集めたデータセットで、小さな Student モデルを SFT する。LoRA を併用することで、ローカルでも現実的な時間で学習を回せる。
Student サイズの選び方には、地味な試行錯誤があった。「小さすぎると賢くなれない / 大きすぎると速くならない」のトレードオフで、いくつか候補を試して、実際に推論を回しながら現実的なバランスを探した。最終的に採用したのは 1.7B クラスの小型モデル(Teacher の約 1/5 サイズ)。LoRA は rank 32、attention 層のみを対象に 2,000 iterations の学習に落ち着いた。
Step 3. 評価とイテレーション
評価フェーズはこんな順序で回していった。
・Teacher との出力差を眺める
・実利用に近い形で主観評価する
・データセットに偏りや不足があれば追加収集する
・Student モデルの候補を入れ替えて再学習する
何度かこのループを回した結果、V0.2 が出来上がった。「やってみないとわからない」が多い領域なので、数値的なベンチマークだけでなく、実利用の感覚を頼りに調整するのが結局のところ一番効いた。
結果
具体的な数字を並べると、こんな感じ。
・推論速度: 短文 0.88 秒 → 約 0.19 秒(4.6 倍速)。プロンプトのプレフィル時間は 0.54 秒 → 約 0.02 秒へ、ほぼ瞬時化
・整形品質: 46 言語の自動テストで全パス(46/46)。Teacher との出力差は、主観テストで「ほぼ判別できない」レベル
・モデルサイズ: 4bit 量子化で約 1.0 GB。Teacher(約 5.6 GB)と比べて 5 分の 1 強まで圧縮
・プロンプト短縮: V0.1 ではシステムプロンプトに 1,200 トークン超を載せていたが、Student がタスクを学習済みなので 50 トークン程度まで圧縮できた
「速度と賢さのトレードオフ」という古典的な悩みに対して、蒸留はかなり強い武器になる、というのが実装してみての実感だった。
ただし、これは「適切な強度」と「適切なデータ」が揃ってこその話で、これらが崩れると派手に失敗する。実際、後にもう一段攻めた構成を試したときには、言語生成能力そのものが破綻し、46 言語すべてで意味不明な出力になったこともあった。蒸留は「やればやるほど良い」ものではない、というのも、その経験を通してしっかり思い知ることになった。
設計の中で見えたこと
V0.2 を組んでみて、いくつか「次のバージョンにも持ち越せる感覚」が見えてきた。整理しておきます。
ユースケース固有データが品質を決める
汎用的なデータセットで蒸留しても、自分のアプリのユーザー体験には繋がらない。「実ユーザーの音声入力に近い揺らぎ」をどう再現するかに、設計の山場が来る。
Teacher を使った合成データ生成は、そのコントロールがある程度効くのが利点だった。ユースケース固有の癖を Input に込めて、Teacher に整形させると、Student が学ぶべき「ドメイン特化の振る舞い」が綺麗に立ち上がる。データの設計こそがモデルの設計、というくらいの重みがあった工程です。
評価ループは感覚的に回すしかない場面も多い
数値的なベンチマーク(perplexity 等)は補助的な目安にはなるが、最終的に「使ったときに気持ちいいか」は主観評価でしか測れない。
特に整形タスクは「過剰整形」「逆に整形が足りない」「微妙にユーザーの意図と外れた言い換え」など、感覚的なズレが品質を左右する。実利用ベースで違和感をリストアップし、それをデータ側で潰していくループが、結局のところ一番効いた。
Student サイズのトレードオフは実機で決める
論文や事例だけで「最適な Student サイズ」を決めるのは難しい。実機での推論速度・体感品質・バンドルサイズの三角形で決まるので、いくつか候補を実装して比較するしかなかった。
ローカル LLM を扱うとき、この「動かしてみないとわからない」要素を、開発フローの中にどう組み込むか — そこが個人開発者にとって地味に大事だと感じた。
強くしすぎないほうがいい
蒸留の強度(学習量、LoRA rank、対象層、プロンプト短縮)は、強くすればするほど良いというものではない。一線を越えると、ベースモデルが持っていた言語生成能力そのものを上書きしてしまうリスクがある。
V0.2 では LoRA rank 32、対象を attention 層のみに絞った穏当な強度を選び、必要十分な範囲だけ書き換える形にしたことで、安定して動くモデルになった。後にもう一段攻めた強度(rank を 128 に倍、対象を全層 + MLP に拡大)を試した結果と並べて見ると、この「穏当さ」の効きがよく分かる。蒸留はパワフルだが、繊細でもある。
次の改善方針
V0.2 で土台ができたので、次に踏み込もうとしているのは以下。
・ユーザー選好データを集めて DPO で追加学習 — 整形の好みは個人差があるので、選好ベースの調整が効く可能性
・整形以外のタスクとのマルチタスク化 — 要約 / 翻訳 / 敬語変換などへの拡張
・より小さい / より速い Student 候補の探索 — モデルアーキテクチャ自体の選び直し
・Speculative Decoding の組み合わせ — 小さい下書きモデルで予測 + 大きい検証モデルで確認、という形でさらに高速化を狙う
どれも単発で完結する話ではなく、「やってみてダメだったら戻す」を前提にしたイテレーションの題材です。
さいごに
KeyVoice Refiner V0.2 の設計は、ファインチューニング手法の選択肢を整理し、要件に合った蒸留を選び、Teacher / Student のループを地道に回したことで形になった。
ローカル LLM を扱うアプリ開発において、蒸留は「速度と品質の両立」という古典的な悩みに対して有効な選択肢になる、というのがこのバージョンを通して得た実感です。同じような構成で詰まっている人の参考になれば嬉しい。
次のバージョンの進捗があれば、またこちらで書きます。