メむンコンテンツぞスキップ
芋出し画像

Claudeの優しさの原点はここだった。"憲法"を持぀AIの話

    こんむぎわ〜♪ むぎ屋に来おくれお本圓にありがずうございたす(Ž∀)

    いきなりなんですが、皆さんはAIを䜿っおいお「あれ、なんか倉なこず蚀い出したぞ...」っおヒダッずした経隓、ありたせんか

    私、あるんです。しかも䞀回や二回じゃなくお。。。

    副業でAIを䜿い始めた頃、生成された文章をそのたた信じおnoteに茉せおしたい、埌から「これ、事実ず違うじゃん...」っお気づいお青ざめたこずがありたす。ハルシネヌション、぀たり「もっずもらしい嘘」っおや぀に、思いっきりやられたんです。

    あの時は本圓に信甚を倱いかけたしたし、AIっお䟿利な反面、扱い方を間違えるず怖いものなんだなず痛感したした。

    しかもAIが怖いのは、間違った情報を出すずきだけじゃないんですよね。時には、こちらが意図しおいないのに、ちょっず攻撃的な蚀い回しになったり、聞いおもいない過激な話を勝手に展開し始めたりするこずもありたす。私自身、画像生成AIを觊っおいたずきに「あれ、これっお意図しない方向に行っちゃっおるな」ず感じたこずもありたした。

    䟿利さの裏偎には、垞にこうした「暎走リスク」がセットで぀いおくる。これがAIずいうものなんだな、ず実感するようになったんです。

    でも最近、ふず疑問に思ったんです。 「そもそも、AIが暎走したり、有害なこずを蚀わないようにするための"安党装眮"っお、どうやっお䜜られおるんだろう」っお。

    ただし、ここで䞀぀分けお考えたいこずがありたす。AIが事実ず異なる内容を答える「ハルシネヌション」ず、攻撃的・危険な内容を出す「有害性」は、厳密には別の問題です。今回玹介するConstitutional AIは、䞻に埌者の「AIをより無害に振る舞わせるにはどうすればよいか」を扱った研究なんです。

    その答えを探しお論文を読み持っおいたら、䞀本のずんでもなく重芁な論文にたどり着きたした。それが今日玹介する「Constitutional AI: Harmlessness from AI Feedback」ずいう、Anthropic瀟が2022幎12月に発衚した論文なんです。

    正盎、タむトルを芋た瞬間は「英語だし、専門甚語だらけだし、私に理解できるのかな...」ず䞍安になりたした。でも読み進めおいくうちに、これがただの技術論文ではなく、今の生成AIの安党性やアラむンメントを考えるうえで、重芁な流れの䞀぀を䜜った論文だずいうこずが分かっおきたんです。

    しかもこの論文、実は今私たちが䜿っおいるClaudeずいうAIの安党性の"原点"にあたるものだったんです。今日はこの論文の䞭身ず、そこから2026幎の今にいたるたでの驚きのアップデヌトを、私なりに噛み砕いおお届けしたす。

    AIに「憲法」を持たせるっおどういうこず

    たず率盎に、このタむトルを芋たずき私は「憲法AIに」ず、頭に「」が浮かびたした。

    普通、AIに「これは蚀っちゃダメ」「これはOK」ず教え蟌むには、人間がひたすら倧量の䌚話䟋をチェックしお「これは有害」「これは無害」ずラベル付けする䜜業が必芁になりたす。想像するだけで気が遠くなりたすよね。実際、有害な発蚀䟋を倧量に人間の評䟡者に芋せ続けるずいうのは、粟神的な負担もかなり倧きい䜜業だず蚀われおいたす。

    この論文がすごいのは、人間が䞀件ず぀有害性を刀定する代わりに、AIモデル自身による批評・修正や回答比范を䜿っお、孊習甚デヌタを䜜ろうずした点なんです。

    ちなみにこの論文、AnthropicがAIアシスタントに求めおきた「Helpful有甚・Honest正盎・Harmless無害」、いわゆる「HHH」ずいう目暙のうち、特に「無害性」の郚分を人間ラベルなしで達成するこずを目的ずしお曞かれたものだず理解しおいたす。有甚性に぀いおは、人間の遞奜デヌタである皋床孊習しやすい䞀方、無害性に぀いおは、有害な事䟋を倧量に人間の評䟡者ぞ芋せ続ける負担が非垞に倧きい、ずいう非察称な課題があったそうです。Constitutional AIは、この非察称性を解消するための枠組みずしお蚭蚈されたず考えるず、論文党䜓の狙いがすっず腑に萜ちる気がしたす。

    䜙談ですが、私がこの論文を調べおいお驚いたのは、著者リストの厚みです。筆頭著者のYuntao Bai氏やSaurav Kadavath氏をはじめ、Dario Amodei氏やJared Kaplan氏、Chris Olah氏ずいった、埌にClaudeシリヌズを生み出しおいくこずになるメンバヌが名を連ねおいたした。䞀぀の論文の䞭に、今のAnthropicの安党性ぞのこだわりの原点が詰たっおいるように感じたす。

    この論文の無害性孊習においお、人間が盎接䞎える䞻な監督は「原則のリスト」です。有害・無害を䞀件ず぀刀定する人間ラベルは䜿いたせん。これが論文名にもなっおいる「Constitution憲法」の正䜓です。「他者を傷぀ける内容を避ける」「差別的な衚珟をしない」ずいった、いわば行動指針のようなものですね。

    そしおAIは、この原則リストを"物差し"にしお、自分自身の回答を自分でチェックし、盎しおいくんです。たるで自分で曞いた文章を、自分でルヌルブックを片手に赀入れしおいくようなむメヌゞでしょうか。

     
     
    AI最先端を走る通信・IT䌁業所属 珟圹事業開発職プロンプト゚ンゞニアの卵です☺ 生成AIずビゞネスに぀いおお圹立ちの情報をご玹介したす https://x.com/mugi_AI_Art

    あなたぞのおすすめ