
LLM/AIのチューニング方法を学んだ
同僚とAI活用の雑談をしていて、チューニングに関する知識が足りないと感じたので調べました。
「どんな選択肢があるのか?」「それぞれの特徴は何か?」「組み合わせて使うとどうなるか」について、全体感を捉えることを目的にガッとインプットしました。
あとで自分が見返せるように記事にして残しておきます。これで「あ、これはあの辺の話をしているんだな」くらいのことはわかるはず。
※2025/08時点の情報です。
※全ての選択肢を正確に網羅できているわけではありません。全体像をなんとなく掴むための参考として使っていただければと思います。
LLMチューニングの選択肢
プロンプトエンジニアリング
プロンプトでLLMの挙動を調整する
Few-shot / In-context Learning
例をプロンプト内に含める
RAG
LLM学習時点で含まれていない情報を検索で補完する
検索強化生成
PEFT(LoRAなど)
軽量Fine-tuning
Full Fine-tuning
全体再学習
RLHF
人間のフィードバックを利用した強化学習
RAG(Retrieval-Augmented Generation)の手法
Retrieval-then-Generation
検索エンジンで関連文章を取得してLLMに渡す
検索と生成モジュールが独立しているためチューニングしやすいらしい
RAGパイプラインの検索部分で使われている技術
BM25(Best Matching 25)
文章の関連度スコアリングアルゴリズム
検索クエリと各文章がどれだけマッチしているかを数値化して順位付けする
単語の頻度、文章長、単語の重要度(IDF)などを元に数値化して順位付けするらしい。
FAQ、文章検索、ログ分析などの検索に適しているらしい
TF-IDFと比較して長文でも短文でも公平にスコアリングできるらしい
TF-IDF
各文章内の単語の重要度を数値化する文章検索アルゴリズム
TF(Term Frequency)
ある文章内での単語の出現頻度で文章の関連性を表す
IDF(Inverse Document Frequency)
全文章集合全体でその単語がどれだけ珍しいか(多くの文章に登場しないか)を表す
多くの文章に共通して登場する単語は重要度が下がり、特定文章にだけ現れる単語は高く評価する
FAISS(Facebook AI Similarity Search)
Meta社が開発した高速かつ大規模なベクトル類似検索ライブラリ
テキストや画像データをベクトルで表現し、巨大な集合の中から似ているベクトルを高速に検索する
ベクトルを使った検索により、高機能な意味検索が実現できるらしい
Elasticsearch
分散型検索分析エンジン
膨大な文章も分散処理で高速検索できる
標準でBM25を使っている
クエリと文章間の関連度を計算する
Fusion-in-Decoder(FiD)
複数の外部検索結果を個別にエンコードし、そのベクトルをデコーダで融合して回答を生成する
標準的なRAGの場合は検索結果のテキストを単純連結してプロンプトとして生成モデルに渡しているらしい。FiDでは生成モデル自身が複数検索結果を統合、重みづけして使うという違いがあるらしい。
複数文章からの情報検索に優れる半面、計算コストが大きく遅延が発生しやすいらしい
Re-ranking
初期検索で取得した文章やデータ候補を更に再評価する
初期検索(BM25やベクトル検索)で関連がありそうな候補文章を広く取得する。
取得した結果から文脈的な特徴、質問との関連性を抽出する
クエリと文章の関連度を判定して順位付けする。順位付けで選定したデータをLLMに渡す
必要な文章だけをLLMに渡すことで計算コストを減らし、質問意図に適切に回答する文章を生成できる
Multi-step / Iterative RAG
初回の生成後、LLMが更に情報を取得しに行くなど、反復的な処理や複数ステップの処理をする。
通常のRAGが「プロンプト→関連文章の検索→LLMによる回答生成」という処理をするのに対し、Multi-stepの場合は反復的に検索したり、それぞれのステップでLLMが判断や追加情報の要求をするらしい。
例
第一ステップでユーザーの質問を分解して必要な情報を特定
必要な情報を検索→回答の生成
生成した回答を元に、より詳細な質問や次のアクションを自動生成して実行
例:発注プロセス
製品の選択→比較→発注のプロセスを順番に実行
処理中に必要な情報を都度検索して再実行
PEFT (軽量ファインチューニング)の手法
PEFT(Parameter-Efficient Fine-Tuning)
LoRAなどのチューニング手法の総称
LLMを少ないパラメータで効率的にチューニングする手法
例:
アウトプットの文体を調整
JSONやMarkdownなど特定のフォーマットを強制
代表的な手法
LoRA
低ランク行列による効率的な補正
モデル全体ではなく、一部の小さな層を学習することで軽量にファインチューニングする
LLMの重み行列を直接変更せずに、追加の低ランク行列を挿入して学習する
LoRAで学習した低ランク行列だけを差し替えることができる。別の低ランク行列と切り替えて効率的に利用できる。
Prefix-Tuning
各レイヤーに仮想的なトークンを挿入し、文脈を制御
事前学習済みのLLMのパラメータは固定。LLM入力の先頭にタスク固有のベクトルを追加する。追加するベクトルの部分を追加学習する。
追加ベクトル部分を切り替えて利用可能。
Adapter-Tuning
各Transformer層の間に小さなネットワークを追加して学習
元モデルのパラメータは凍結し、元モデルの層の中間にフィードフォワードネットワーク(adapter)を挿入
Prompt-Tuning
学習可能なプロンプト(仮想トークン)を挿入して学習
モデル本体の重みは固定し、入力前にベクトル列(ソフトプロンプト)を追加。これらのベクトルはトークンとしてではなく埋め込みベクトルとして扱われ、モデルの内部状態に影響を与える。
LLMチューニング方法の組み合わせ例と長所短所
RAG+プロンプト
RAGで外部情報を取得し、プロンプトでチューニング
プロンプトで文体やアウトプットフォーマットを指定する
PEFTと比較して文体やフォーマットの揺れが大きい
業務利用や他ツールとの連携で高い一貫性が求められる場合は、揺れが少ないPEFTに軍配が上がる。例えば壊れたJSONのフォーマットが出力された場合、後続の連携先のツールでエラーが発生する。
プロンプトによる調整はPEFTと比較して導入と調整が容易。
RAG+PEFT
RAGで外部情報を取得し、PEFTでチューニング
PEFTで文体やアウトプットフォーマットを指定する
プロンプトによるチューニングよりもアウトプットのばらつきが小さくなる。つまり安定性が高い。
ただし、LLMという技術の特性上、アウトプットが完全に一致するわけではない。temperatureやtop_k、top_p、前のトークンによってアウトプットが変わる可能性がある。
プロンプトによるチューニングよりは導入に手間はかかるが、安定性は増す。Full Fine-tuningよりは手軽。
プロンプトによるチューニングと比べて、出力の確率分布のピークが明確になる。つまり、ばらつきが減る
temperature, top_pを下げるとさらにアウトプットのばらつきが減るらしい。
RAG+プロンプト+LangChain, LangGraph
RAGで外部情報を取得し、プロンプトでチューニング
複数の処理をする場合は、タスクを分解して個別に処理
複数の処理を個別に分割して実行することで、アウトプットの安定性を高める
例:
「文章要約+箇条書きに変換」の場合、要約タスクと箇条書き変換タスクに分けて実行する
ただし、LLMの実行回数が増えるので、応答時間が長くなる
複数の処理を直列的に実行する場合はLangChain、条件分岐やループをしたい場合はLangGraphが便利