メインコンテンツへスキップ
見出し画像

#40 新人AIの育て方

    こんにちは、NOVITAです。AIF-C01対策として、基盤モデルのファインチューニング方法とデータ準備を“用語まる見え+例えたっぷり”でまとめます。


    0. まずは地図(出題用語の見取り図)

    • Instruction Tuning(指示チューニング)
      「こう頼まれたら、こう答える」のお手本でしつける方法。

    • Domain Adaptation(特定分野への適応)
      医療・法務・製造など、分野の言い回しに慣らす方法。

    • Transfer Learning / PEFT(転移学習・パラメータ効率化)
      LoRA/QLoRAなど、重みの一部だけ軽く調整して仕上げる方法。

    • Continual Pre-training(継続的な事前チューニング)
      事前学習の延長で、最新知識や専門語彙を広く吸収する方法。

    • RLHF(人間のフィードバックによる強化学習)
      複数案から人が好みの出力を選んで“好ましさ”を学ばせる仕上げ。

    • DPO(Direct Preference Optimization)
      RLを使わず、好みのペアから直接最適化する好み合わせの別ルート。

    • RAG(検索拡張)(参考)
      最新情報や長文は、覚えさせずに都度調べる方式(学習と併用)。


    1. 例えで一撃理解:モデルを“新人スタッフ”だと思ってみる

    • 事前学習=“世の中の文章をたくさん読んで基礎体力をつけた新人”。

    • Instruction Tuning=「うちの接客マニュアル」をお手本で教える。

    • Domain Adaptation=「うちの業界の専門用語」を大量の文章で慣らす。

    • PEFT(LoRAなど)=制服の袖だけ直すみたいに、全部は縫い直さない軽い改造。

    • Continual Pre-training=定期研修で最新ルールをまとめてキャッチアップ。

    • RLHF/DPO=試食会で「Aの言い方が好き」を人が選んで微調整。

    • RAG=必要な時だけマニュアルを取り出して読む(記憶させない)。


    2. 方法を用途別に選ぶ(試験で問われやすい“使い分け”)

    2.1 Instruction Tuning(指示チューニング)

    出題キーワード:Supervised Fine-Tuning(SFT)
    →教師ありファインチューニングのこと
    使いどころ:

    • 「〇〇のメールにこの順番で、このトーンで答えて」

    • 「危険な依頼は丁寧に断る」
      たとえ:接客ロールプレイを台本つきで反復練習。
      コツ:良いお手本を少量でも質高く(50〜200対からOK)。NG例も入れると境界が締まる。

    2.2 Domain Adaptation(特定分野への適応)

    使いどころ:

    • 医療や法務など専門語・慣用表現に弱いとき。
      たとえ:方言や専門用語の聞き取り練習をまとめてやる。
      注意:分野に寄せすぎると一般力が落ちやすい。評価で観察。

    2.3 Transfer Learning / PEFT(LoRA/QLoRA 等)

    使いどころ:

    • 低コストで素早く“言い回し・型”を合わせたいとき。
      たとえ:袖や裾だけ直す仕立て直し。
      メリット:学習もデプロイも軽く、現場反復が速い。

    2.4 Continual Pre-training(継続的な事前チューニング)

    使いどころ:

    • 新概念や最新仕様が根本的に分からない。
      たとえ:業界研修でまとめて基礎力アップ。
      注意:コスト重め。忘却(汎用力低下)に注意し、汎用データも混ぜる。

    2.5 RLHF / DPO(好み合わせ)

    使いどころ:

    • 「どっちの言い方が心地よい?」のように正解が一つじゃない問題。
      たとえ:試食会で人気投票し、味の方向性を決める。
      ポイント:SFTで“型”を作ってから仕上げに使うと安定。


    3. データ準備:6つのチェックリスト(出題語句あり)

    3.1 データ・キュレーション(Curation)

    • 神お手本を集める:ベスト回答、良い社内文例、匿名化ログ。

    • NG例も:やってはいけない言い方+正しい断り方をセットで。

    • バリエーション:短文/長文、初級/上級、境界ケース。

    3.2 ガバナンス(Governance)

    • 著作権・利用許諾の確認。

    • 個人情報(PII)マスキング、出力ログも除染して保存。

    • 追跡性:いつ・誰が・どのデータを追加したか。

    3.3 サイズ(Size)

    • SFTの初手は50〜200対でもOK。

    • 分野適応はケース次第(まずは手持ちから)。

    • 継続事前チューニングは効果大だが高コスト、段階的に。

    3.4 ラベル付け(Labeling)

    • 入力→理想出力の対を作る。

    • 属性ラベル(OK/NG、トーン、危険度)も有効。

    • 評価セットは訓練から分離(リーク防止)。

    3.5 代表性(Representativeness)

    • 実運用の比率をざっくり反映。

    • ある商品や口調に偏らない。匿名化ログで現実の分布を少しずつ反映。

    3.6 RLHF(+DPO)

    • 2案からの選好やスコアで“好ましさ”を学習。

    • 好みがバラバラだとぶれるので、基準文例を先に共有。


    4. 実務の王道レシピ(合格にも効く“最短構成”)

    1. RAG を先に:最新規約や価格は都度参照。

    2. Instruction Tuning(SFT):50〜200対で型とトーンを揃える。

    3. PEFTで軽く回す:LoRA/QLoRAで小回り。

    4. Domain Adaptation(必要なら):分野の長文を追加して慣れを作る。

    5. RLHF/DPOで仕上げ:言い回しの心地よさを磨く。

    6. 評価→追加データ→再学習のループ:失敗例を狙い撃ちで補強。

    合言葉:“覚えさせるのは型、最新は調べる”。
    これを守ると、コスト・品質・安全のバランスが崩れません。


    5. ミニ実例:カスタマーサポートを強くする

    • SFTデータの型

      1. 挨拶

      2. 結論(可否を先に)

      3. 根拠(短く)

      4. 代替案(次の一手)

      5. 締め

    • NG例:ぶっきらぼう、規約長文の丸写し、PIIそのまま。

    • 評価:5つの観点(正確さ/安全/トーン/長さ/構造)。

    • RLHF/DPO:同じ内容で言い方A/Bを出し、どちらが良いか投票。


    6. つまずきあるある→回避メモ

    • “まず大量データ”で迷走
      → 少量・高品質から、エラー分析で追加。

    • 最新性もSFTで覚えさせようとする
      → RAGに任せる。学習は型へ。

    • 安全はプロンプト頼み
      → ガードレール+権限(IAM等)で“技術的にも拒否”。

    • 代表性が欠ける
      → 匿名化ログを少しずつ吸収。比率をざっくり合わせる。


    7. AWSでやるなら(合格に必要な粒度で)

    • Amazon Bedrock:既存モデル選定、RAG、ガードレール。一部モデルはFine-Tuning対応。

    • Amazon SageMaker:PEFTや継続事前チューニング、分散学習、実験管理。

    • まずはBedrockで検証→効果が見えたらSageMakerで本格学習が現実路線。


    8. ミニ模試

    Q1:最新の制度改定に弱い。まず有効なのは?

    • A. SFTデータを倍にする

    • B. RAGで最新資料を参照し、必要に応じてContinual Pre-training

    • C. すべてRLHFに切替

    • D. 事前学習をゼロからやり直す
      → 答え:B

    Q2:少量データで“断り方を上品に”。適切なのは?

    • A. Instruction Tuningで型を作り、最後にRLHF/DPOで言い方を磨く

    • B. 分野適応だけ

    • C. すべてRAG

    • D. ラベルなしデータを増やす
      → 答え:A

    Q3:コストを抑えつつ素早い反復。どれ?

    • A. フル微調整

    • B. PEFT(LoRA/QLoRA)

    • C. 継続事前チューニングのみ

    • D. 事前学習やり直し
      → 答え:B


    9. まとめ(試験に効く一文暗記)

    • Instruction Tuning=お手本で“振る舞い・型・安全”。

    • Domain Adaptation=分野の言い回しに慣らす。

    • PEFT=一部だけ軽く直して素早く回す。

    • Continual Pre-training=最新知識を広く吸収。

    • RLHF/DPO=人の好みで仕上げる。

    • RAG=覚えさせず、必要時に調べる。

    • まずは少量・高品質→評価→補強のループで堅実に。

    最後までお読みいただきありがとうございました。
    今後も出題分野ごとに記事を更新していきますので、フォロー・スキなどしていただけると励みになります!

     
     

    NOVITA

     
     
    AWSの資格に必要な情報やサーバーレス/Auto Scalingなど様々な設計パターンをアーキテクチャ図で解説。 皆さんの学習と実践に役立つ情報を発信していきます!

    あなたへのおすすめ