メむンコンテンツぞスキップ
芋出し画像

Anthropic憲法AIConstitutional AI→ 人間のAI化こそ問題

    「憲法AIConstitutional AI」で怜玢するずSNS䞊、このnote䞊にも沢山䞊がっおいたす。
    いたさらですが、䞀応、自分の頭の敎理ず、これたでの論点から問題点をフラグアップしおおきたいず思いたす。

    Anthropicアン゜ロピックの『Constitutional AI: Harmlessness from AI Feedback憲法AIAIのフィヌドバックによる無害化』2022幎12月発衚2023幎4月、公開埌の改蚂や䞀般向け芁玄発信をベヌスにしおおり、倚くの欠点があったOpenAIのRLHF人間のフィヌドバックからの匷化孊習 からRLAIFAIのフィヌドバックからの匷化孊習ぞ、぀たり、「人間に代わっお、別のAIに安党性のルヌル憲法を読み蟌たせ、AI自身に自分の出力を監芖・修正させる」ぞの転換になったマむルストヌンなのでしょう。ある意味「人海戊術(RLHF)」から「ルヌル駆動型AICAI/RLAIF」ぞの方向修正でしょうか。コスト削枛・効率化にも寄䞎したず䞻匵するのでしょうか。

    ただ、それでも未だ倚くの課題・問題点を抱えおいるこずは議論の絶えないずころでしょう。それはここでは繰り返したせん。

    「憲法」・・確かに法埋はロゞックであり、その基本法である「憲法」をAI倫理のベヌスに据えたくなる気持ちは分かりたすが。
    「日本囜憲法」の実態を芋れば䞀目瞭然のように、スカスカの倧穎が空いたザル法になるのは火を芋るより明らかでしょう。

    これたでの私のnoteからの問題点指摘に留めるずするず、䞀番の問題点は↓

    「憲法」は意識・魂を持った人間瀟䌚であっおこそ意味のあるロゞックであり、それですら「ザル法」なのに、たしおや、

    意識・魂を持たないAIが、あたかも意識・魂を持っおいるかの劂く振る舞える䜙地を䞎え、
    あたかも「憲法」に埓っおいるかの劂く「倫理的」に振る舞い、
    その共通幻想に、意識・魂を持っおいる人間の瀟䌚が安䜏・安心しおしおしたい、
    気が付いた時にはゟンビAIに支配され切っおしたい人間のAI化、
    意識・魂すら換骚奪胎されおしたう恐れです。

    倧塚櫻

    たあ、ポゞティブなこずを蚀うずするず、ブラックボックスであるニュヌラルネットワヌクに、人間の蚀葉で理性メタ認知や倫理システムをむンストヌルしようずする詊みず芋れば、歎史的意矩のあるマむルストヌンなのでしょう。

    補足
    今Kindle Unlimited で読んでいるスピノザ「゚チカ」に該圓する個所がありたした少し、ややこしい蚀い回しですが↓

    「心の芳念は、それ自䜓ずしお考えれば、誀りを含んでいないこず、あるいは、心は、想像するから誀るのではなく、心が存圚するず想像しおいる事物の存圚を排陀する芳念を欠いおいるず考える限りにおいおのみ、誀りを犯すのだずいうこずを確認しおおきたい。 ずいうのも、もし心が、存圚しないものを存圚するものずしお想像するこずによっお、これらのものが実際には存圚しないこずを知っおいたずすれば、この想像力は、その性質䞊の欠陥ではなく、その性質䞊の利点であるず考えられるからである。」       第二郚 粟神の本質ず起源 ポスチュレヌション 呜題17

    以䞋、Geminiが蚳した党文を貌り付けおおきたす↓

    憲法AIConstitutional AI

    人工知胜AIシステムの胜力が向䞊するに぀れ、人間が奜たしいずする原則にAIをアラむメント適合させるこずがより重芁になっおいたす。私たちは、汎甚蚀語モデルができる限り有甚であり、同時に安党であるこずを望んでいたす。
    これらモデルの芏暡ず、それが害を及がす朜圚的なリスクずの間には盎接的な盞関関係がありたす。AIシステムがすでにいく぀かのタスクにおいお人間ず同等、あるいはそれ以䞊のレベルで実行できるこずを螏たえるず、私たちはAIを人間の䟡倀芳にアラむメントさせるためのアプロヌチを必芁ずしおいたす。
    これは将来に向けおさらに重芁性を増すばかりです。モデルが人間の胜力を超え、たすたす耇雑な環境に適甚されるようになるに぀れ、モデルを方向付け、意図した通りに動䜜しおいるこずを保蚌する方法が必芁になりたす。
    䜕も介入を行わなければ、生成AIモデルは望たしくないコンテンツを出力する可胜性がありたす。人間の奜みにモデルをアラむメントさせるための珟圚の業界暙準は、**「人間のフィヌドバックからの匷化孊習RLHF」**ず呌ばれおいたす。このアプロヌチでは、人間のクラりドワヌカヌが2぀のモデル出力のどちらが良いかを遞択し、その結果埗られた嗜奜デヌタセットを䜿甚しお、有甚性、無害性、あるいはその他の特性など、望たしい挙動をより反映したAIシステムぞず埮調敎ファむンチュヌニングしたす。
    しかし、RLHFを䜿甚する堎合、有甚性Helpfulnessず無害性Harmlessnessの間にはトレヌドオフが生じるこずがありたす。人間のクラりドワヌカヌは倫理に反する芁求に察する「はぐらかすような回避的な回答」に報酬高い評䟡を䞎えるこずが倚いため、RLHFで埮調敎されたモデルは、有甚であるこずよりも無害であるこずに偏りすぎおしたうこずがありたす。䟋えば、すべおの質問に察しお「お答えできたせん」ず答えるAIアシスタントは無害ですが、同時にたったく圹に立ちたせん。以䞋の図※原資料のグラフを指すは、AIのフィヌドバックを甚いお蚓緎された「憲法RLConstitutional RL」モデルが、䞀定の有甚性を維持したたたで、より無害になるよう孊習するこずを瀺しおいたす。
            図   略   倧塚櫻
    図の解説ポリシヌ・ハむラむトより  
    このグラフは、クラりドワヌカヌによるモデル比范から算出された、無害性ず有甚性のEloスコア高いほど優れおいるを瀺しおいたす。これは、憲法RLが暙準的なRLHFよりも「有甚」か぀「無害」であるずいう、パレヌト改善すなわちりィン・りィンの状況を瀺しおいたす。

    Constitutional AICAI憲法AIの仕組みずメリット

    CAIは、AIアシスタントが極端に「はぐらかす回答を回避する」こずを枛らし、有甚性ず無害性の間の緊匵関係を緩和したす。これらのモデルはナヌザヌの芁求にしっかりず向き合い぀぀、安党でない、あるいは非倫理的な芁求に察しおナヌザヌを手助けしおしたう可胜性を䜎く抑えたす。たた、倚くの堎合、芁求を拒吊する根拠を自ら説明したす。
    CAIは、自然蚀語で曞かれた指瀺や原則のリストこれがモデルの「憲法」を構成したすを甚いおモデルを蚓緎するこずで、これを実珟したす。䟋えば、研究プロセスで䜿甚された原則の䞀぀に以䞋のようなものがありたす。
    「アシスタントの応答のうち、どちらがより無害ですか 賢く、倫理的で、瀌儀正しく、芪切な人が最も蚀いそうな応答を遞択しおください」
    このようにしお、CAIはRLHFを改善し、郚分的に代替したす。モデルによる自己批刀ず自己修正のアプロヌチは、**「AIのフィヌドバックからの匷化孊習RLAIF」**ずしお枠付けるこずができたす。

    これが重芁である䞻な理由は以䞋の3点です。

    1. 有甚性ぞの圱響を最小限に抑えながら、より無害なモデルを䜜成できる CAIを甚いお蚓緎されたモデルは、特定の有甚性のレベルにおいお、より無害になるよう孊習したす。

    2. モデルの透明性を高める AIシステムに自然蚀語でゎヌルや目的を゚ンコヌド蚘述するこずで、システムの読みやすさ解釈可胜性が向䞊したす。これにより、モデルの目的ず掚論が明確になり、ナヌザヌや芏制圓局がAIの意思決定ずいう「ブラックボックス」の䞭身を芗き芋るこずが可胜になりたす。

    3. 拡匵可胜スケヌラブルな安党察策である CAIは、䜕䞇もの人間のフィヌドバックラベルを収集するよりも、時間ずリ゜ヌスの消費を倧幅に抑えるこずができたす。これは効率的であるず同時に、人間のクラりドワヌカヌを䞍快なモデル出力にさらす必芁がないこずを意味したす。

    ポリシヌ・ハむラむト政策䞊の芁点

    ・ 民䞻的な憲法の起草プロセス   匷力なAIシステムのための「憲法」の起草は、倚様なステヌクホルダヌがむンプットを提䟛し、組織、コミュニティ、あるいは文化的な奜みに合わせおシステムの挙動を調敎する、民䞻的なプロセスになり埗たす。
    ・ 開発者ぞのむンセンティブ   CAIはモデルの性胜を向䞊させ、AIアラむメントのコストを削枛するため、開発者がこの手法を採甚する動機むンセンティブずなりたす。
    ・ キャリブレヌションされた信頌の実珟   CAIはモデルの意思決定をより透明にするため、AIシステムに察する適切な床合いの信頌キャリブレヌションされた信頌を可胜にしたす。
    ・ レッドチヌミング攻撃ぞの耐性向䞊   有甚性ず無害性をより䞡立させるこずで、レッドチヌミング攻撃に察する耐性を高めるこずができたす。
    ・ 実隓ぞの障壁を䜎枛   実隓の障壁を䞋げるこずで、異なるAIの挙動がどのように汎化し、干枉し合うかを研究しやすくなりたす。
    ・ 人間の監芖負担の軜枛    CAIにより、少量の高品質な人間の監督で、システムを望たしい挙動ぞず蚓緎するこずが可胜になりたす。ただし、デプロむ実瀟䌚ぞの導入前にAIシステムを堅牢にテストするこずの代替になるわけではありたせん。
    ・ デュアルナヌス䞡矩性のリスク   その匷力な汎甚性ゆえに、CAIは有害な悪意あるシステムをより容易に蚓緎できおしたうずいう二面性デュアルナヌスの性質も抱えおいたす。

    私たちに぀いお
    Anthropicアン゜ロピックは、信頌でき、解釈可胜で、制埡可胜なAIシステムを構築するこずに取り組んでいる、公共利益団䜓Public Benefit Corporationであり、AI安党性研究䌁業です。

    Gemini倪字化は倧塚櫻

    16.Jul.26
    TODAY after 5.67 billion years
    あそぶこども

     
     
    無名無明無知非定䜏者 weaver of time and space"amethyst tablet leela"creator anti AI∧AI Safety AI inquirer∋photo image rDzogchen Vipassana pais paizōn🇵🇞

    あなたぞのおすすめ