メインコンテンツへスキップ
見出し画像

LLM/AIのチューニング方法を学んだ

    同僚とAI活用の雑談をしていて、チューニングに関する知識が足りないと感じたので調べました。
    「どんな選択肢があるのか?」「それぞれの特徴は何か?」「組み合わせて使うとどうなるか」について、全体感を捉えることを目的にガッとインプットしました。
    あとで自分が見返せるように記事にして残しておきます。これで「あ、これはあの辺の話をしているんだな」くらいのことはわかるはず。

    ※2025/08時点の情報です。
    ※全ての選択肢を正確に網羅できているわけではありません。全体像をなんとなく掴むための参考として使っていただければと思います。

    LLMチューニングの選択肢

    • プロンプトエンジニアリング

      • プロンプトでLLMの挙動を調整する

    • Few-shot / In-context Learning

      • 例をプロンプト内に含める

    • RAG

      • LLM学習時点で含まれていない情報を検索で補完する

      • 検索強化生成

    • PEFT(LoRAなど)

      • 軽量Fine-tuning

    • Full Fine-tuning

      • 全体再学習

    • RLHF

      • 人間のフィードバックを利用した強化学習

    RAG(Retrieval-Augmented Generation)の手法

    • Retrieval-then-Generation

      • 検索エンジンで関連文章を取得してLLMに渡す

      • 検索と生成モジュールが独立しているためチューニングしやすいらしい

      • RAGパイプラインの検索部分で使われている技術

        • BM25(Best Matching 25)

          • 文章の関連度スコアリングアルゴリズム

          • 検索クエリと各文章がどれだけマッチしているかを数値化して順位付けする

          • 単語の頻度、文章長、単語の重要度(IDF)などを元に数値化して順位付けするらしい。

          • FAQ、文章検索、ログ分析などの検索に適しているらしい

          • TF-IDFと比較して長文でも短文でも公平にスコアリングできるらしい

            • TF-IDF

              • 各文章内の単語の重要度を数値化する文章検索アルゴリズム

              • TF(Term Frequency)

                • ある文章内での単語の出現頻度で文章の関連性を表す

              • IDF(Inverse Document Frequency)

                • 全文章集合全体でその単語がどれだけ珍しいか(多くの文章に登場しないか)を表す

                • 多くの文章に共通して登場する単語は重要度が下がり、特定文章にだけ現れる単語は高く評価する

        • FAISS(Facebook AI Similarity Search)

          • Meta社が開発した高速かつ大規模なベクトル類似検索ライブラリ

          • テキストや画像データをベクトルで表現し、巨大な集合の中から似ているベクトルを高速に検索する

          • ベクトルを使った検索により、高機能な意味検索が実現できるらしい

          • FAISS - Wikipedia

        • Elasticsearch

          • 分散型検索分析エンジン

          • 膨大な文章も分散処理で高速検索できる

          • 標準でBM25を使っている

          • クエリと文章間の関連度を計算する

    • Fusion-in-Decoder(FiD)

      • 複数の外部検索結果を個別にエンコードし、そのベクトルをデコーダで融合して回答を生成する

      • 標準的なRAGの場合は検索結果のテキストを単純連結してプロンプトとして生成モデルに渡しているらしい。FiDでは生成モデル自身が複数検索結果を統合、重みづけして使うという違いがあるらしい。

      • 複数文章からの情報検索に優れる半面、計算コストが大きく遅延が発生しやすいらしい

    • Re-ranking

      • 初期検索で取得した文章やデータ候補を更に再評価する

      • 初期検索(BM25やベクトル検索)で関連がありそうな候補文章を広く取得する。

      • 取得した結果から文脈的な特徴、質問との関連性を抽出する

      • クエリと文章の関連度を判定して順位付けする。順位付けで選定したデータをLLMに渡す

      • 必要な文章だけをLLMに渡すことで計算コストを減らし、質問意図に適切に回答する文章を生成できる

    • Multi-step / Iterative RAG

      • 初回の生成後、LLMが更に情報を取得しに行くなど、反復的な処理や複数ステップの処理をする。

      • 通常のRAGが「プロンプト→関連文章の検索→LLMによる回答生成」という処理をするのに対し、Multi-stepの場合は反復的に検索したり、それぞれのステップでLLMが判断や追加情報の要求をするらしい。

      • 例

        • 第一ステップでユーザーの質問を分解して必要な情報を特定

        • 必要な情報を検索→回答の生成

        • 生成した回答を元に、より詳細な質問や次のアクションを自動生成して実行

      • 例:発注プロセス

        • 製品の選択→比較→発注のプロセスを順番に実行

        • 処理中に必要な情報を都度検索して再実行

    PEFT (軽量ファインチューニング)の手法

    • PEFT(Parameter-Efficient Fine-Tuning)

      • LoRAなどのチューニング手法の総称

      • LLMを少ないパラメータで効率的にチューニングする手法

      • 例:

        • アウトプットの文体を調整

        • JSONやMarkdownなど特定のフォーマットを強制

      • 代表的な手法

        • LoRA

          • 低ランク行列による効率的な補正

          • モデル全体ではなく、一部の小さな層を学習することで軽量にファインチューニングする

          • LLMの重み行列を直接変更せずに、追加の低ランク行列を挿入して学習する

          • LoRAで学習した低ランク行列だけを差し替えることができる。別の低ランク行列と切り替えて効率的に利用できる。

        • Prefix-Tuning

          • 各レイヤーに仮想的なトークンを挿入し、文脈を制御

          • 事前学習済みのLLMのパラメータは固定。LLM入力の先頭にタスク固有のベクトルを追加する。追加するベクトルの部分を追加学習する。

          • 追加ベクトル部分を切り替えて利用可能。

        • Adapter-Tuning

          • 各Transformer層の間に小さなネットワークを追加して学習

          • 元モデルのパラメータは凍結し、元モデルの層の中間にフィードフォワードネットワーク(adapter)を挿入

        • Prompt-Tuning

          • 学習可能なプロンプト(仮想トークン)を挿入して学習

          • モデル本体の重みは固定し、入力前にベクトル列(ソフトプロンプト)を追加。これらのベクトルはトークンとしてではなく埋め込みベクトルとして扱われ、モデルの内部状態に影響を与える。

    LLMチューニング方法の組み合わせ例と長所短所

    • RAG+プロンプト

      • RAGで外部情報を取得し、プロンプトでチューニング

      • プロンプトで文体やアウトプットフォーマットを指定する

      • PEFTと比較して文体やフォーマットの揺れが大きい

      • 業務利用や他ツールとの連携で高い一貫性が求められる場合は、揺れが少ないPEFTに軍配が上がる。例えば壊れたJSONのフォーマットが出力された場合、後続の連携先のツールでエラーが発生する。

      • プロンプトによる調整はPEFTと比較して導入と調整が容易。

    • RAG+PEFT

      • RAGで外部情報を取得し、PEFTでチューニング

      • PEFTで文体やアウトプットフォーマットを指定する

      • プロンプトによるチューニングよりもアウトプットのばらつきが小さくなる。つまり安定性が高い。

      • ただし、LLMという技術の特性上、アウトプットが完全に一致するわけではない。temperatureやtop_k、top_p、前のトークンによってアウトプットが変わる可能性がある。

      • プロンプトによるチューニングよりは導入に手間はかかるが、安定性は増す。Full Fine-tuningよりは手軽。

      • プロンプトによるチューニングと比べて、出力の確率分布のピークが明確になる。つまり、ばらつきが減る

      • temperature, top_pを下げるとさらにアウトプットのばらつきが減るらしい。

    • RAG+プロンプト+LangChain, LangGraph

      • RAGで外部情報を取得し、プロンプトでチューニング

      • 複数の処理をする場合は、タスクを分解して個別に処理

      • 複数の処理を個別に分割して実行することで、アウトプットの安定性を高める

      • 例:

        • 「文章要約+箇条書きに変換」の場合、要約タスクと箇条書き変換タスクに分けて実行する

      • ただし、LLMの実行回数が増えるので、応答時間が長くなる

      • 複数の処理を直列的に実行する場合はLangChain、条件分岐やループをしたい場合はLangGraphが便利

    あなたへのおすすめ