
言語AIの進化史㉑ChatGPT(人間のフィードバックによる強化学習)
前回は、GPT-1、GPT-2、GPT-3を通して大規模言語モデルの進化を見ました。それは、これまで重要とされてきたファインチューニングの役割を事前学習とスケール則が凌駕していく過程でもありました。
今回のテーマは、ChatGPTです。ChatGPTは、GPT-3の単純なるスケール延長ではなく、会話特化型として特別な手法によって訓練されました。また、これはモデルの性能を劇的に向上させただけでなく、実用性を大きく広げるものでした。
そのための手法が人間のフィードバックによる強化学習(Reinforcement Learning from Human Feedback、RLHF)です。
ただし、RLHFを採用したのはChatGPTが初めてではありません。そこで今回は「人間からの評価スコアを用いて報酬モデルを学習する」手法について初期の研究から紹介します。まずは、時代を2008年に遡って話を始めます。
強化学習と人間のフィードバック
AIに「正しい行動」を教える難しさ
強化学習では、エージェントが生涯を通して環境から得られる報酬を最大化することが目的です。そのため、長期的な視点が必要となります。現在の状態から得られる報酬を最大化するのではなく、現在の行動によって将来的に得られる報酬全体がどう変わるのかを学習する必要があります。

例えば、チェスの試合を考えてみてください。駒を一つ取ることで短期的な「利益」を得ることはできますが、その結果、相手の駒に捕らえられるリスクを生むことがあります。一方で、駒を一時的に犠牲にしてでも盤面全体を有利にする「長期的な戦略」を取ることで、最終的に勝利する可能性を高められます。強化学習でも同様に、短期的な報酬だけでなく、長期的な視点で行動を選択することが重要です。
よって、そのような学習を行うためには「報酬の与え方」をよく考える必要があります。報酬をどう数値化するのか、どの時点で与えるのか重要です。これを報酬構造の設計と呼びます。よくできた報酬構造を使えば、エージェントは人間が望むような行動ポリシーを学習できます。
しかし、報酬構造を設計する際にはいくつかの課題があります。
報酬の数値化:どの行動に対してどのような報酬を与えるべきかを数値で表現する必要があります。例えば、自動運転でスピード制限を守ることと事故防止のバランスをどう決めるのか。
長期的な目標:強化学習では短期的な報酬だけでなく、長期的な目標達成に基づく行動を学習する必要があります。よって、ペナルティは大きければ良いわけではありません。
不適切な報酬:報酬構造によっては、エージェントが期待とは異なる行動を学習してしまう可能性があります。例えば、特定の行動だけを繰り返して短期的な報酬を繰り返し得ようとする場合などです。
このような報酬構造の設計の課題を解決するための一つの先駆的なアプローチとしてTAMERが登場しました。
TAMER(2008年) 人間の直感を活かす試み
2008年に発表された論文「TAMER: Training an Agent Manually via Evaluative Reinforcement)では、「人間の直感」で報酬を決めるという新しい発想を提案しました。
ちなみに、英語の「tamer」とは「飼い慣らされた」という意味です。
下図にあるように、TAMERの実装は「教師あり学習」と「強化学習」を組み合わせたものです。

報酬を計算するのは環境ではなく、環境の状態を画像として見て人間が直感によって数値を決めています。よって、単にスコアを報酬として使うよりも長期的な視点を含めた報酬を与えることができます。
TAMERの限界と次世代への課題
しかし、TAMERはディープラーニング以前の技術であり、その限界も今となっては明らかです。
まず、TAMERでは、報酬関数をモデル化するためにパーセプトロンが使用されました。この手法は計算効率が高い一方で、線形関数による近似しかできないため、複雑な非線形関係を表現する能力に欠けていました。そのため特徴量は人間の手で設計されたもので、ディープラーニングのように学習されたものではありませんでした。
ただし、Deep TAMER(2018年)は、TAMERにディープラーニングを組み合わせ、より複雑な非線形なタスクに対応可能となりました。
また、人間トレーナーの負担が大きくなりがちです。長期的な視点を含めて報酬を決める必要があり、特にリアルタイム性が求められる環境や複雑なタスクには不向きでした。もちろん、10倍速で学習ができるわけでもありません。
さらに、同じ状況では同じ報酬を提示する一貫性が必要ですが、人間の判断にはブレがあります。それを補正するためには、たくさんのサンプルを集めた学習が必要ですが、TAMERのアプローチは大規模なデータを生成するには向いていません。
これらの課題は次世代へと残されました。
深層強化学習と人間のフィードバック
DQN(2013年) 人間レベルのゲームプレイ
DQN(Deep Q-Network)は、DeepMindが2013年にアーカイブ(ArXiv)に投稿した研究に基づいており、2015年にNatureに掲載されました。この研究は、強化学習とディープラーニングを組み合わせた初の成功例として注目されました。

DQNのベースはQ学習です。Q学習では、状態と行動の価値を計算したものをQ値と呼びます。Q値は、その時点から生涯得られる総報酬を現在価値として計算した予測値です。現在の状態において最大のQ値を与える行動を選択します。
DQNは、Q値の学習にディープラーニング(CNN)を利用しました。これによって、画像データから非線形な特徴を自動的に抽出することを可能にしました。また、GPUを活用することで、大量のデータを高速に処理し、従来の強化学習手法では不可能だったスケールでの学習が可能となりました。
2012年にAlexNetがImageNetで優勝したのと、2013年にDQNの研究が行われたのは偶然ではないでしょう。当時のAI研究はオープンソースによる切磋琢磨によって急激に進歩していました。
アタリゲームでの実証が行われ「人間レベル」のパフォーマンスを達成しました。まるで人間が画像から学ぶかのように、画像データを入力としており、高次元の観測データを直接処理できることを示す画期的なものとなりました。
DQNにおける学習の不安定性
ただし、DQNにはいくつかの課題が残されていました。例えば、Q値の過大評価によって学習が不安定になることがあり、これがパフォーマンスの急激な低下につながる場合がありました。
また、DQNはゲームにおける上下左右の移動やビームを打つなど離散的な行動選択の特化した設計になっており、連続的な行動を必要とするタスクには向いていませんでした。よって、スムーズなロボット制御のような連続的な行動が求められるタスクには対応が困難でした。
これらの欠点を補うように、Double DQN、Dueling DQN、優先度付き経験再生といった改良が行われましたが、DQNの基本的な設計は変わりませんでした。
その一方で、DQNが苦手としていた連続的な行動空間への適応や、学習の安定性を大幅に向上させるポリシーベースの強化学習が発展しました。
PPO(2017年) 強化学習が効率的で安定に
DQNが価値ベースのアプローチを用いていたのに対し、ポリシーベースの手法は、エージェントが環境内で取る行動の確率分布を最適化するものです。価値を最大化する行動を選ぶのではなく、与えられた状況に応じて直接に行動を(確率的に)決めるのでポリシーベースと呼ばれます。
ポリシーベースでは行動を連続値として出力できるため、たとえばロボットの関節の角度を決めるなどといった処理をすることができます。
ポリシーベースの手法は古くからあります。
REINFORCE(1992年)ポリシー勾配法
Actor-Critic(2000年代初頭)ポリシーベースと価値ベースの組み合
TRPO(2015年)学習の安定性が向上
TRPOは、ロボット制御やゲームなどの強化学習タスクにおける学習の安定性を改善することを目的としていました。これを開発したのは、ジョン・シュルマン(John Schulman)です。
彼は、当時はカリフォルニア大学バークレー校で研究をしていましたが、後にOpenAIに移籍しました。そこでは、TRPOの弱点である「実装が複雑で計算コストが高い」問題を解決するための研究を行い、2017年にPPO(Proximal Policy Optimization)を発表しました。
PPOはDQNと比べると適用範囲が広い上、学習の安定性と効率性の向上も実現しました。
OpenAI FiveはDota 2でプロプレイヤーに勝利
2018年に行われたDota 2の対戦で、OpenAI Five(2018年)がプロプレイヤーチームを破りました。PPOを中心としたアルゴリズムを用いて訓練されています。

Dota 2では、エージェントがキャラクターの操作や位置取りなど、多数の連続的および離散的なアクションを選択する必要があります。OpenAI Fiveは、PPOを利用した強化学習エージェントが複雑なチーム戦略を理解し、連携を実現できることを示しました。
なお、OpenAI Fiveの訓練では、数千台のGPUとTPUを用いて並列環境で大量のシミュレーションを行いました。PPOは、計算効率が高く大規模な分散トレーニングに適しているため、このような大規模インフラでの利用に最適でした。
OpenAI Fiveでの成功は、PPOが複雑なタスクや大規模な計算環境で有効であることを示しました。この特徴は、後にRLHFを用いた大規模言語モデルの最適化にも応用されることになります。
もちろん、PPOが OpenAI で開発されたのも理由の一つでしょう。トランスフォーマーがこの頃登場しているのも偶然というか興味深いです。
大規模言語モデルと人間のフィードバック
GPT-3(2020年) 汎用モデルが抱える会話の課題
GPT-3は、約1750億のパラメータを持つ大規模言語モデルを莫大なテキストコーパスで事前学習したものであり、それまでのモデルをはるかに超えるスケールと性能を実現しました。
GPT-3は、プロンプト内に提示された例を理解(文脈内学習)して、新しいタスクをこなす能力を示し、ゼロショット学習や少数ショット学習を可能にしました。よって、特定のタスクに特化した微調整を行わなくても、プロンプトによって多様なタスク(翻訳、要約、コード生成など)を実行できる汎用性を持っていました。
つまり、GPT-3は多目的に使われるように設計されており、特定のタスクに特化していません。特に会話においては、ユーザーとの自然な対話を維持するための最適化が不足していました。
これらの課題を受けて、OpenAIはGPT-3の汎用性を活かしつつ、より自然で人間的な会話を実現するために新たな取り組みを開始しました。
InstructGPT(2022年) 言語モデルにRLHFを適用
2022年に発表されたInstructGPTは、GPT-3をベースに、人間のフィードバックを取り入れることで、より自然で一貫性のある応答を生成できるように改良されました。これは3つのステップとして理解することができます。
ステップ1:ファインチューニング(教師あり学習)で基本的な能力を獲得
ステップ2:人間の評価を基に報酬モデルを訓練(教師あり学習)
ステップ3:報酬モデルを使った強化学習(RLHF)でモデルを最適化
ステップ1:人間が作成したデモンストレーション(質問と回答のペア)を大量に集めてファインチューニング(教師あり学習)を行います。これにより、モデルは人間の意図に沿った回答を生成するための基本的な能力を獲得します。
ただし、教師あり学習に利用できるデータ量には限界があり、この段階だけでは十分な性能向上が得られません。
ステップ2:モデルが生成する回答の質を自動的に評価するための「報酬モデル」を訓練します。ファインチューニングされたGPT-3に質問を与え、複数の回答を生成します。人間がこれらの回答を評価し、どの回答が優れているかをランク付けします。この評価データを用いて、報酬モデル(Reward Model)を教師あり学習で訓練します。
報酬モデルは、GPT-3が生成する文章の質をスコアとして評価します。これは次の強化学習で使うための報酬関数になります。人間の評価を模倣しているので人間のフィードバックを強化学習の報酬として利用できるようになります。
このため訓練時には、生身の人間によるフィードバックは不要となります。
ステップ3:報酬モデルからのフィードバックを用いて、GPT-3の応答をさらに最適化します。これが人間のフィードバックによる強化学習(RLHF)です。PPOを強化学習アルゴリズムとして使用します。
観測値(Observation): GPT-3に与えられるプロンプト(入力シーケンス)
行動(Action): GPT-3が生成する回答(出力シーケンス)
報酬(Reward): 報酬モデルが算出したスコア
GPT-3は、いつものように与えられたプロンプトに対して回答を生成します。報酬モデルがその回答を評価し、スコアを算出します。PPOのアルゴリズムがこの報酬を基に、GPT-3のパラメータを更新し、より高い報酬を得られるように最適化します。
PPOエージェントにとっては、GPT-3が行動を決めるためのポリシー・ネットワークになっていると考えてください。
RLHFは、TAMERで見られた課題を全て解決しています。報酬モデルのおかげで訓練中に人間がフィードバックを与える必要がなく、一貫性のある報酬を与えることが可能です。また、PPOのおかげで高速で大規模なデータを効率よく扱うこともできます。
この強化学習を通じて、GPT-3は人間が期待するような回答を生成するように最適化されます。これにより、InstructGPTは単なる言語モデルから、人間が期待するような回答を出力するようになりした。
しかし、主に単一の指示やタスク(例: 要約、翻訳、質問応答)に応答することを目的としていました。つまり、主に指示に従うタスクに焦点が当てられていました。また、会話の文脈を長く維持する能力は限定的でした。
ChatGPT(2022年) 衝撃的なチャットボットの登場
2022年11月にOpenAIはChatGPTをリリースしました。衝撃的な会話能力を持つチャットボットの登場は瞬く間にAI関係者のみならず、一般人も巻き込んだ旋風を起こしました。
Googleが内部で緊急事態宣言を出したとも言われました。MicrosoftがOpenAIに大規模な出資を行いGoogleとの決戦に挑むとニュースになりました。
ChatGPTはInstructGPTから進化したものです。ベースのモデルは、GPT-3からGPT-3.5に変わり、さらに会話形式に特化した最適化がなされました。
GPT-3.5については、具体的なアーキテクチャの変更点(例: 層の数やパラメータ数)については公開されていません。また、ChatGPTが「GPT-3.5に基づいている」とされるのは2022年末のリリース時点の話であり、OpenAIはその後、ChatGPTをGPT-4ベースにアップグレードして提供しています。
ChatGPTでは、対話の流れや文脈を理解する能力が向上し、ユーザーとのより自然な会話を実現しました。より親しみやすい応答を生成するよう設計されており、ユーザー体験を重視したのがわかります。
長く継続する対話の能力が強化されことから、おそらく会話形式のデータセットをさらに追加して学習を行なったのですが、データセットの具体的な内容や規模については公開されていません。
さらに、安全性に対する配慮が強化され、不適切な要求に対して拒否したり、注意を促したりする能力が向上しました。
安全性の強化に関しては、RLHFによる人間のフィードバックを通じて実現されたと想定されますが、具体的な手法や評価基準については公開されていません。
また、ChatGPTは当時からハルシネーション(Hallucination)が問題となりました。これは、「AIが事実に基づかない、または存在しない情報を生成する」現象を指します。一言で言うと、「AIが嘘をつく」ことです。
例えば、AIが実際には存在しない事実やデータを自信を持って回答したり、根拠のない内容を創作したりする場合がこれに当たります。
ChatGPTは、2025年1月現在でもたびたび ハルシネーション を起こします。これは、確実性よりも流暢性を優先する傾向によるもので、報酬モデルの最適化が逆効果を生むケースとも考えられます。また、AIが「真実」や「事実」といった概念を本当の意味で「理解」していないのかもしません。そうでなければ、意図的に嘘をついていることになります。
GPT-3の論文ではデータセットや訓練方法についてある程度は詳細が公開されていましたが、GPT-3.5やChatGPTについては、そのような詳細は非公開となっています。
基本的には、InstructGPTと同様のRLHFを使ったと考えれれていますが、詳細はわかりません。また、アーキテクチャの変更点(例: 層の数やパラメータ数)も不明です。
以前のAI研究は、オープンソースによる切磋琢磨によって進歩していましたが、商業利用価値が高まったので詳細は隠されるようになりました。これにより、外部からの検証や再現が難しくなりましたが、その後も各社からChatGPTのようなチャットボットが多く登場しまた。
これまでとは違った形での競争原理が働くようになり、AI研究の風景も随分と雰囲気が変わった印象になりました。
大規模言語モデルを使うか、使われるのか
大衆化した大規模言語モデル
ChatGPTのリリース当時と比べると、現在の大規模言語モデル(LLMs)ははるかに高い性能を示し、人間と見極めができないほど自然な会話をするようになりました。多くの企業がLLMsによるチャットサービスを無料・有料で提供しています。
ChatGPT(OpenAI)
Gemini(Google)
Perplexity(Perplexity)
Claude(Anthropic)
DeepSeek(DeepSeek)
無料でもそれなりに使えるサービスが多く、AI研究者ではない一般の人々の多くがLLMsを利用するようになりました。
また、多くのLLMsはAPIを通しての利用が可能であり、たくさんの企業がLLMsを使って独自のサービスを開発しています。このためLang Chainのようなフレームワークも登場しました。また、LLMsを訓練するための学習データを提供する会社も増えました。
なお、企業が技術を非公開にする中で、よりオープンなコミュニティも存在します。たとえば、Hugging FaceやEleutherAIなどがあります。MetaのLLaMAもパラメータ情報(重み)が公開され誰でも使えるようになっています。
最近では、中国のDeepSeekがChatGPT並みの性能を持つDeepSeek-V3を無料でリリースしており話題になっています。また、オープンソースです。
OpenAIによるAGIの5段階ロードマップ
OpenAIは、AIの進化を五段階に分類しています。
レベル1:チャットボット(Chatbots)
レベル2:推論者(Reasoners)
レベル3:エージェント(Agents)
レベル4:イノベーター(Innovators)
レベル5:組織(Organizations)
(出典:ブルームバーグ)
レベル1のチャットボットは、人間のような会話ができるAIシステムを指します。これは、前述したチャットサービスで実現されています。
レベル2の推論者は、様々な分野の問題を詳細な指示なしで推論しながら解決する能力です。博士レベルの問題解決スキルとされており、これは現在開発が進んでいます。
OpenAIのo1モデルやo3モデルは、レベル2の開発例です。
o3は、ARC-AGI(Abstraction and Reasoning Corpus for Artificial General Intelligence)ベンチマークで87.5%のスコアを達成し、人間レベルの85%を上回りました
レベル3のエージェントは、独立してコンテンツを作成したりタスクを実行したりする能力です。複雑なタスクを処理し、変化する状況にも適応します。人間の意図の拡張として機能し、スマートな意思決定を伴う多段階のプロセスを管理できます。例えば、旅行ための電車・バス、飛行機、ホテル、ツワーなどの手配を自動でやってくれるといった使い方を想定しています。
OpenAIが先日発表したオペレーターは、レベル3の開発例です。
現時点では米国のChatGPT Proユーザー(月額200ドル)のみが利用可能で、日本ではまだ使えません。
レベル4のイノベーターは、新しいものを発明し、創造的プロセスに貢献できる能力です。科学的な発見をしたりすることが期待されます。まだ、このレベルに触れたモデルはありません。
レベル5の組織は、組織全体を自律的に運営できるAIシステムを意味します。簡単に言うと、会社を経営したりすることができることになります。
OpenAI自体は現在、自社をレベル1にあり、レベル2に近づいていると考えています。レベル2でも十分使い道があるので、使いこなせる人とそうでない人とで能力差が大きくなるケースも増えることが予想されています。
政治・経済・文化に与える影響
LLMs(大規模言語モデル)は今や政治や経済の重要な話題として、毎日のように取り上げられています。
例えば、米国ではAIインフラを強化するための大規模な投資計画が進んでいます。最近、ドナルド・トランプ大統領が「スターゲート計画」としてAIデータセンター建設に約5000億ドル(約78兆円)を投じる構想を発表しました。
OpenAIが提唱するようなレベル5まで到達すると、それは国にとっては大きな力となるでしょう。このため、投資の対象としても有望であり、また経済安全保障の面からも重要視されています。
LLMsの進化は、スケール則に基づいて「モデルサイズ」「データセット量」「計算量」を増加させることで性能が向上するため、資金力が大きな鍵を握ります。このため、NVIDIAのGPU需要が急増するなど、ハードウェア市場にも直接影響を与えています。
また、LLMsは学習データから文化や偏見も吸収するため、利用時に特定の文化的背景やバイアスを感じることがあります。例えば、ChatGPTを使用する際、異文化の影響を受けたAIと対話しているような感覚を抱くことがあるかもしれません。
さらに、政府によっては、AIモデルが批判的な言動や歴史観を排除するよう制御される可能性もあります。この結果、AIを自国で開発できない国は他国の文化や価値観を無意識に取り入れてしまうリスクを抱えます。
こうした背景から、中国や米国が巨額の資金を投じてAIを開発している理由は明白です。AIは単なる技術ではなく、国家間の競争や力の象徴にもなり得る「新たな武器」と見なされているからです。
このため、AIそのものよりも、それを操作する人間の意図が問題になる場合もあり、人間の意図によってAIエージェントが組織や国を陥れるような事態も想像できるでしょう。
「AIのゴッドファーザー」として知られるGeoffrey Hinton(2024年のノーベル物理学賞受賞)が、人工知能の危険性を警告するためにGoogleを去ったことは記憶に新しい話題です。また、OpenAIのSam Altman氏に対しても、Hintonが強く批判している事実があります。これは、AIが急速に進化する中で、開発者がその倫理的責任をどこまで果たすべきかが問われていることを象徴しています。
AIの開発競争を見ていると、第二次世界大戦中の原子爆弾開発を巡る国際間の競争を思い起こさせます。当時、原爆は単なる兵器ではなく、科学技術力と国の存亡をかけた象徴的存在でした。現在のAIもまた、単なる技術革新を超えて国家間の競争の主戦場となりつつある印象を受けます。
人間によるフィードバックが与える報酬
LLMsによるコード生成は非常に便利で、最近はほとんどGoogle検索する必要がなくなりました。テストケースやコメント生成を含め、開発の効率を大幅に向上させています。
しかし、その一方で、AIの性能向上が進むほど、少人数で運営されるソフトウェア会社が増え、格差が広がる可能性があります。
最近では、ソフトウェア開発経験者がAIのコード生成能力を高めるための「報酬データ作成」に従事していますが、これが進むと開発者の需要が減少するリスクも指摘されています。
これはAIの進化が自己の職業を脅かす「墓穴掘り」になり得るのかもしれません。
ELIZAの夢は達成されたのか?
さて、チューリング・テストやイライザの話から始まった「言語AIの進化史」シリーズは、今回で幕を閉じます。
アラン・チューリングは、チャットボットの背後に人間と同じような知性を想像していたことでしょう。一方、イライザを使ったユーザーたちは、そのシンプルな応答から人間的な感情を抱く「イライザ効果」を経験しましたが、それが人間でないことは明らかでした。
今日のLLMsは、イライザを遥かに凌ぐ知能と能力を持つと多くの人が感じています。しかし、「知能」とは何かを正確に測る方法がない以上、それは主観的な感想でしかありません。ARC-AGIなどのベンチマークが登場しても、AIがそれを達成すると新しい基準が設定され、ゴールポストが動き続けるだけです。
さらに、AIが新たな能力を実現すると、「それは知能ではなく単なる自動化だ」と評価を下げる現象もあります。これは「AI効果」と呼ばれ、人間の認識の限界(あまいさ)を反映したものでしょう。結局のところ、AGI(汎用人工知能)が達成されたかどうかの議論は、もしかしたら永遠に終わらないのかもしれません。
(完)