
RAGとファインチューニングの使い分け|いまさらAI #6
社内の文書を AI に読ませたい。そう考えたとき、最初に名前が挙がるのが「ファインチューニング」と「RAG」です。どちらもモデルに自分のデータを使わせる手段で、目的も似て見える。だから取り違えが起きます。
結論から言えば、この二つは競合する選択肢ではありません。働く場所が違う。片方はモデルの中身を、もう片方はモデルの外側をいじります。
どこをいじるのか
ファインチューニングは、学習済みモデルの重み(パラメータ)に追加の訓練を当てて、振る舞いそのものを書き換える手法です。例文と望ましい出力のペアを大量に与え、モデルがその癖を内側に取り込む。口調、出力フォーマット、分類の基準といった「どう答えるか」を固定したいときに効きます。
RAG(Retrieval-Augmented Generation、検索拡張生成)は、モデルには一切触れません。質問が来たら、まず外部の文書データベースから関連する箇所を検索して取り出し、それを質問文に貼り付けてからモデルに渡す。モデルは渡された資料を読んで答えます。手元のカンニングペーパーを毎回差し替えるイメージに近い。仕組みは2020年の論文で定式化されました (https://arxiv.org/abs/2005.11401)。
違いは保守の仕方に出ます。RAG なら、知識を更新したいときはデータベースの文書を入れ替えるだけ。モデルは再訓練しません。ファインチューニングで知識を覚えさせた場合、情報が古くなれば訓練をやり直すことになります。
ファインチューニングのコストも、以前ほど重くはなくなりました。かつては巨大なモデルの全パラメータを訓練し直す必要があり、計算資源も時間も大きかった。いまは LoRA に代表される PEFT(パラメータ効率の良いファインチューニング)が主流で、元のモデルは凍結したまま、ごく一部の小さな追加パラメータだけを学習させます。更新する量が桁違いに少ないので、安く速く済む。それでも、訓練データを用意し、評価して、出力の崩れを確認する手間は残ります。外部の文書を入れ替えるだけの RAG とは、運用の重さがそもそも違います。
検索の中身
RAG が「関連する箇所」をどう見つけるか。多くは埋め込み(embedding)を使います。文書をあらかじめ意味のベクトルに変換しておき、質問も同じ空間のベクトルにして、近いものを引く。キーワードの一致ではなく意味の近さで探すので、言い回しが違っても拾えます。
この方式には、副産物として「出典をたどれる」という利点が付いてきます。答えの根拠になった文書がどれか分かるので、利用者が裏取りできる。事実を内側に溶かし込むファインチューニングでは、ここまではっきりした追跡はできません。誤りを見つけたとき、どの文書を直せば直るかが分かることは、業務で使ううえで小さくない差になります。
ただし検索が外れれば答えも外れる。ここが RAG の弱点です。Anthropic はこの取りこぼしを減らす「Contextual Retrieval」という手法を公開していて、文書の断片に文脈を付けてからベクトル化することで、検索の失敗を 49%、再ランク付けと併せると67% 減らせたと報告しています (https://www.anthropic.com/news/contextual-retrieval)。裏を返せば、素朴に組んだ RAG はそれだけ取りこぼしうる、ということでもあります。
取り違えが起きるところ
いちばん多い誤解は、「社内の知識を覚えさせたいからファインチューニング」というものです。実際には逆で、事実やドキュメントを参照させたい用途は RAG が向きます。ファインチューニングで知識を詰め込むのは、コストが高いわりに更新が利かず、覚えたはずの事実を取り違えて答えること(ハルシネーション)も防ぎきれません。
レイテンシとコストの向きも逆になります。RAG は質問のたびに検索の往復が挟まるぶん、応答が一拍遅れ、取り出した文書をプロンプトに積むのでトークン量も増えます。ファインチューニングは振る舞いをモデル側に焼き付けてあるので、その往復が要らない。速さと運用の軽さを優先する場面では、この差が効いてきます。
もう一つ。長いコンテキストを扱えるモデルが増えたことで「RAG はもう要らない」という声もあります。これは半分だけ当たっています。Anthropic は、知識ベースが20万トークン程度に収まるなら、全文をそのまま渡してプロンプトキャッシュを効かせるほうが、検索基盤を組むより速く安い場合があると述べています。ただし扱う文書が数十万・数百万件の規模になれば、全部を毎回渡すのは現実的でない。そこで検索が要る。規模次第で答えが変わる話で、どちらか一方が常に正しいわけではありません。
どちらを選ぶか
切り分けの目安は、変えたいものが「知識」か「振る舞い」かです。

具体的な場面で考えると境界が見えやすくなります。たとえば、毎週更新される製品マニュアルを参照して問い合わせに答えるチャットボット。知識は頻繁に変わり、どの文書を根拠にしたかも示したい。これは RAG の領分です。逆に、その回答を必ず「結論・理由・参考リンク」の三段構成で、ですます調で返したい——という形式の縛りは、いくらプロンプトで指示しても揺れることがあります。ここを安定させたいなら、過去の良い回答例でファインチューニングして癖を埋め込むほうが確実です。
そして、この二つは併用できます。事実の参照は RAG に任せ、答え方のスタイルや分類の癖はファインチューニングで固める。実運用では、まず RAG で知識を外付けし、それでも出力の形が安定しないところだけファインチューニングを足す、という順番が無理のない入口になります。いきなり重みをいじる前に、外側で足りるかを試す。コストも陳腐化のリスクも、そのほうが小さく収まります。
Sources: - [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)](https://arxiv.org/abs/2005.11401) - [Introducing Contextual Retrieval — Anthropic](https://www.anthropic.com/news/contextual-retrieval)