
#40 新人AIの育て方
こんにちは、NOVITAです。AIF-C01対策として、基盤モデルのファインチューニング方法とデータ準備を“用語まる見え+例えたっぷり”でまとめます。
0. まずは地図(出題用語の見取り図)
Instruction Tuning(指示チューニング)
「こう頼まれたら、こう答える」のお手本でしつける方法。Domain Adaptation(特定分野への適応)
医療・法務・製造など、分野の言い回しに慣らす方法。Transfer Learning / PEFT(転移学習・パラメータ効率化)
LoRA/QLoRAなど、重みの一部だけ軽く調整して仕上げる方法。Continual Pre-training(継続的な事前チューニング)
事前学習の延長で、最新知識や専門語彙を広く吸収する方法。RLHF(人間のフィードバックによる強化学習)
複数案から人が好みの出力を選んで“好ましさ”を学ばせる仕上げ。DPO(Direct Preference Optimization)
RLを使わず、好みのペアから直接最適化する好み合わせの別ルート。RAG(検索拡張)(参考)
最新情報や長文は、覚えさせずに都度調べる方式(学習と併用)。
1. 例えで一撃理解:モデルを“新人スタッフ”だと思ってみる
事前学習=“世の中の文章をたくさん読んで基礎体力をつけた新人”。
Instruction Tuning=「うちの接客マニュアル」をお手本で教える。
Domain Adaptation=「うちの業界の専門用語」を大量の文章で慣らす。
PEFT(LoRAなど)=制服の袖だけ直すみたいに、全部は縫い直さない軽い改造。
Continual Pre-training=定期研修で最新ルールをまとめてキャッチアップ。
RLHF/DPO=試食会で「Aの言い方が好き」を人が選んで微調整。
RAG=必要な時だけマニュアルを取り出して読む(記憶させない)。
2. 方法を用途別に選ぶ(試験で問われやすい“使い分け”)
2.1 Instruction Tuning(指示チューニング)
出題キーワード:Supervised Fine-Tuning(SFT)
→教師ありファインチューニングのこと
使いどころ:
「〇〇のメールにこの順番で、このトーンで答えて」
「危険な依頼は丁寧に断る」
たとえ:接客ロールプレイを台本つきで反復練習。
コツ:良いお手本を少量でも質高く(50〜200対からOK)。NG例も入れると境界が締まる。
2.2 Domain Adaptation(特定分野への適応)
使いどころ:
医療や法務など専門語・慣用表現に弱いとき。
たとえ:方言や専門用語の聞き取り練習をまとめてやる。
注意:分野に寄せすぎると一般力が落ちやすい。評価で観察。
2.3 Transfer Learning / PEFT(LoRA/QLoRA 等)
使いどころ:
低コストで素早く“言い回し・型”を合わせたいとき。
たとえ:袖や裾だけ直す仕立て直し。
メリット:学習もデプロイも軽く、現場反復が速い。
2.4 Continual Pre-training(継続的な事前チューニング)
使いどころ:
新概念や最新仕様が根本的に分からない。
たとえ:業界研修でまとめて基礎力アップ。
注意:コスト重め。忘却(汎用力低下)に注意し、汎用データも混ぜる。
2.5 RLHF / DPO(好み合わせ)
使いどころ:
「どっちの言い方が心地よい?」のように正解が一つじゃない問題。
たとえ:試食会で人気投票し、味の方向性を決める。
ポイント:SFTで“型”を作ってから仕上げに使うと安定。
3. データ準備:6つのチェックリスト(出題語句あり)
3.1 データ・キュレーション(Curation)
神お手本を集める:ベスト回答、良い社内文例、匿名化ログ。
NG例も:やってはいけない言い方+正しい断り方をセットで。
バリエーション:短文/長文、初級/上級、境界ケース。
3.2 ガバナンス(Governance)
著作権・利用許諾の確認。
個人情報(PII)マスキング、出力ログも除染して保存。
追跡性:いつ・誰が・どのデータを追加したか。
3.3 サイズ(Size)
SFTの初手は50〜200対でもOK。
分野適応はケース次第(まずは手持ちから)。
継続事前チューニングは効果大だが高コスト、段階的に。
3.4 ラベル付け(Labeling)
入力→理想出力の対を作る。
属性ラベル(OK/NG、トーン、危険度)も有効。
評価セットは訓練から分離(リーク防止)。
3.5 代表性(Representativeness)
実運用の比率をざっくり反映。
ある商品や口調に偏らない。匿名化ログで現実の分布を少しずつ反映。
3.6 RLHF(+DPO)
2案からの選好やスコアで“好ましさ”を学習。
好みがバラバラだとぶれるので、基準文例を先に共有。
4. 実務の王道レシピ(合格にも効く“最短構成”)
RAG を先に:最新規約や価格は都度参照。
Instruction Tuning(SFT):50〜200対で型とトーンを揃える。
PEFTで軽く回す:LoRA/QLoRAで小回り。
Domain Adaptation(必要なら):分野の長文を追加して慣れを作る。
RLHF/DPOで仕上げ:言い回しの心地よさを磨く。
評価→追加データ→再学習のループ:失敗例を狙い撃ちで補強。
合言葉:“覚えさせるのは型、最新は調べる”。
これを守ると、コスト・品質・安全のバランスが崩れません。
5. ミニ実例:カスタマーサポートを強くする
SFTデータの型
挨拶
結論(可否を先に)
根拠(短く)
代替案(次の一手)
締め
NG例:ぶっきらぼう、規約長文の丸写し、PIIそのまま。
評価:5つの観点(正確さ/安全/トーン/長さ/構造)。
RLHF/DPO:同じ内容で言い方A/Bを出し、どちらが良いか投票。
6. つまずきあるある→回避メモ
“まず大量データ”で迷走
→ 少量・高品質から、エラー分析で追加。最新性もSFTで覚えさせようとする
→ RAGに任せる。学習は型へ。安全はプロンプト頼み
→ ガードレール+権限(IAM等)で“技術的にも拒否”。代表性が欠ける
→ 匿名化ログを少しずつ吸収。比率をざっくり合わせる。
7. AWSでやるなら(合格に必要な粒度で)
Amazon Bedrock:既存モデル選定、RAG、ガードレール。一部モデルはFine-Tuning対応。
Amazon SageMaker:PEFTや継続事前チューニング、分散学習、実験管理。
まずはBedrockで検証→効果が見えたらSageMakerで本格学習が現実路線。
8. ミニ模試
Q1:最新の制度改定に弱い。まず有効なのは?
A. SFTデータを倍にする
B. RAGで最新資料を参照し、必要に応じてContinual Pre-training
C. すべてRLHFに切替
D. 事前学習をゼロからやり直す
→ 答え:B
Q2:少量データで“断り方を上品に”。適切なのは?
A. Instruction Tuningで型を作り、最後にRLHF/DPOで言い方を磨く
B. 分野適応だけ
C. すべてRAG
D. ラベルなしデータを増やす
→ 答え:A
Q3:コストを抑えつつ素早い反復。どれ?
A. フル微調整
B. PEFT(LoRA/QLoRA)
C. 継続事前チューニングのみ
D. 事前学習やり直し
→ 答え:B
9. まとめ(試験に効く一文暗記)
Instruction Tuning=お手本で“振る舞い・型・安全”。
Domain Adaptation=分野の言い回しに慣らす。
PEFT=一部だけ軽く直して素早く回す。
Continual Pre-training=最新知識を広く吸収。
RLHF/DPO=人の好みで仕上げる。
RAG=覚えさせず、必要時に調べる。
まずは少量・高品質→評価→補強のループで堅実に。
最後までお読みいただきありがとうございました。
今後も出題分野ごとに記事を更新していきますので、フォロー・スキなどしていただけると励みになります!