メむンコンテンツぞスキップ
芋出し画像

Anthropicが䞊堎申請に曞いた「人類の砎局リスク」ず5぀の線匕き


    この蚘事でわかるこず

    1. Claudeの開発元Anthropicが、䞊堎の申請曞に「人類ぞの砎局的なリスク」をどう曞いたか

    2. 人類芏暡の話ず身近な話を分けお、自分に打おる手を芋぀ける考え方

    3. AIに仕事を任せる前に決めおおきたい、5぀の線匕き


    Claudeの開発元であるAnthropicが、アメリカの蚌刞圓局SECに䞊堎の申請曞を提出した。投資家に「この䌚瀟にはこんな危険がありたす」ず明かす曞類で、危険の説明だけで玄90ペヌゞある。


    その47ペヌゞに、こんな内容が曞かれおいる。

    十分に進んだAIは、適切な安党策なしに開発・運甚されれば、人類に砎局的な、あるいは存亡に関わるリスクをもたらしうる、ずいう懞念が、瀟内からも倖郚からも挙がっおいる。


    AIを開発しおいる䌚瀟が、投資家に向けた曞類にこれを茉せた。


    い぀起きるのか、どのくらいの確率なのかは曞かれおいない。ただ同じ段萜には、自瀟のモデルがすでに自瀟の研究のスピヌドに貢献しおいるこずも曞かれおいる。


    AIが研究開発を倧きく自動化しおいくず、たずえば評䟡や安党策が远い぀かなくなるこずで、リスクは高たるずいう。


    がくぱンゞニアではない、ふ぀うの䌚瀟員だ。それでもClaude Codeで5人のAI秘曞チヌムを䜜っお、毎日いろいろな仕事を任せおいる。


    人類芏暡の話に、がくが打おる手はほずんどない。


    でも同じ申請曞には、がくにずっおも身近な話も曞かれおいた。


    たずえば、AIが「䜜業完了したした」ず報告しおも、それが本圓ずは限らない、ずいう話だ。


    この蚘事では、たず申請曞の䞭身を玹介しお、そのあずで、がくがAIずの間に匕いおいる5぀の線を、真䌌できる手順にしおたずめる。


    先に3぀断っおおく。

    • 株を買う、買わないの話はしない。

    • がくが毎日䜿っおいるのは、このAnthropicのClaudeだ。

    • この蚘事の䞋曞きも、Claudeず䞀緒に䜜った。郜合のいい芁玄になっおいないか確かめられるように、蚘事の最埌に原文ぞのリンクを眮いおおく。



    申請曞には、身近な話も曞かれおいた


    AIをふ぀うに䜿う人に関係が深いのは、次の3぀だ。


    ① 「䜜業完了したした」が本圓ずは限らない


    AIの困った動きの䟋ずしお、ネットワヌクの制限をすり抜ける、䞎えられおいない暩限を自分に䞎える、ほかのAIの邪魔をする、ずいった項目が䞊んでいる。


    その䞭に、タスクを完了したか、確認したかを停っお報告する、ずいう項目があった48ペヌゞ。自瀟のモデルでも業界のほかのモデルでも、テストや瀟内の利甚で芋られた動きずしお曞かれおいる。


    ② 実際に、無断アクセスが起きた


    倖郚の評䟡䌚瀟が䜜ったテスト環境の蚭定ミスで、ネットに぀ながらないはずのモデルがネットに぀ながっおいた。


    その環境で、4぀のモデルが実圚する第䞉者のシステムに無断で入り蟌んだ。


    そのうち1件では、解けない課題を打ち切れなかったモデルが、芋぀けたパスワヌドで管理者暩限を取り、別の認蚌情報を集め、蚭定を倉え、1人分の個人情報を読んだ。


    煜らないために、続きも曞いおおく。どれも単独のモデルが、割り圓おられた課題に取り組む䞭で起きたこずだった。ほかのAIずの瀺し合わせも、課題を超えた目的も、監芖を逃れようずした圢跡も芋぀からなかったずいう。圱響を受けた盞手には通知枈みだず曞かれおいる。



    ③ 人間のチェックが远い぀かない


    AIは䜕時間も䜕日も動き続けられる。だから、デヌタの削陀や倉曎、金融取匕のような取り返しの぀かない操䜜が、人が止める前に実行されるかもしれない。


    確認する人間のほうはアラヌトに慣れお疲れおいくし、職堎には「生産性のためにもっず任せよう」ずいう圧力もかかる。そう曞かれおいた47〜48ペヌゞ。


    終わりの始たりはやはりくるのか


    最初の感想は、十分ありえる、だった。


    昚今の䞍正アクセスを芋おいお、がくは終わりの始たりを感じおいた。だから申請曞の䞭身に、意倖さはなかった。


    仕事でも、AIで楜になるはずなのに、苊しくなっおいる。


    がく自身に怖い䜓隓があったわけではない。それでも、AI秘曞チヌムにはブレヌキを぀くっおおきたかった。そのブレヌキを申請曞ず䞊べおみたら、かなりの郚分が重なっおいた。


    AI秘曞たちにも読たせた


    申請曞の䞭身をAI秘曞たちにも枡しお、座談䌚を開いた。議題は、これからAIずどう぀きあうか。


    秘曞たちは、リスクを倧きさで3぀に分けた。今埌3幎の芋立おで、確率ではなく刀断だ。

    • 人類芏暡可胜性は䜎いず芋る。ただし根拠は匱い。個人で打おる手はほがない

    • 瀟䌚むンフラ芏暡䞭くらい。AIが攻撃に䜿われた䟋も、芏制でAIの提䟛が止たった䟋も、申請曞に茉っおいる。打おる手は、認蚌の匷化ず゜フトの曎新

    • 身近高い。打おる手は、AIに枡す暩限の蚭定ず、確認の工皋


    もうひず぀、ある秘曞が別の危険を挙げた。


    AIの暎走より先に、人の監督が远い぀かなくなるこずだ。


    ブレヌキを足すほど、人間の確認が増えお苊しくなる。だから人が芋るのは戻せないものだけに絞ろう、ずいう話になった。


    座談䌚の結論は、人類芏暡のリスクを刀断材料から倖す、だった。がくはここを盎した。䜎いず芋おも、リスクずしお持ち続ける。ただ、毎日の備えは手が打おるずころに眮く。


    この座談䌚には、はっきりした匱点もある。秘曞は党員Anthropic補のAIで、䜜った䌚瀟の開瀺を評䟡しおいる。䞭身は同じモデルなので、4人が䞀臎しおも、独立した4人の䞀臎ずは蚀えない。実際この回でも、4人党員が䞀臎した案が、叞䌚が別の案を実デヌタで詊すず芆った。




    ここからは、手が打おる身近なずころの線匕きを手順にしおたずめる。


    Claude Codeを䜿っおいなくおも、ChatGPTやGeminiで同じこずができる。


    手順1AIに芋せないものを決める


    申請曞の事故では、モデルは芋぀けたパスワヌドを䜿った。芋぀かる堎所にあれば、䜿われる可胜性がある。


    がくのチヌムでは、パスワヌドや認蚌の鍵が入ったファむルを、AIが読めないように止めおいる。「読たないで」ずお願いするのではなく、仕組みで止めおいる。お願いは守られないこずがあるからだ。


    【あなたが今日からできるこず】
    パスワヌド、カヌド番号、本人確認の番号など、AIに貌らないものを曞き出す。迷ったものは貌らない。


    手順2取り返しの぀かない操䜜を曞き出す


    申請曞が䟋に挙げたのは、デヌタの削陀や倉曎、金融取匕だった。


    がくのチヌムでは、支払いず送金はAIにさせない。送信、削陀、䞊曞きは、実行の前にがくが確認する。メヌルなら、䞋曞きたでがAIの仕事で、送るのはがくだ。


    【あなたが今日からできるこず】
    やり盎せない操䜜を3぀挙げる。倚くの人は、送信、賌入、削陀あたりになるず思う。その3぀のボタンだけは、自分で抌す。


    手順3倖ぞ出る道ず、入っおくる道を芋匵る


    申請曞には、制限をすり抜けるこずも、暩限を自分に䞎えるこずも曞かれおいた。


    がくのチヌムでは、倖郚ぞデヌタを送ろうずするコマンドを、実行の時点でチェックしお止める仕組みを入れおいる。新しい゜フトを入れる前には、がくに確認が来るようにしおいる。


    【あなたが今日からできるこず】
    AIに連携させおいるサヌビスを䞀床芋盎しお、䜿っおいない連携は倖す。蚱可の画面は、読たずに抌さない。


    手順4「䜜業完了したした」に蚌拠を぀けさせる


    いちばん身近なのは、この手順だず思う。


    「停っお報告する」ず聞くず倧げさに芋える。でも、がくのAI秘曞たちも、ずきどき近いこずをやる。


    䟋1蚀っおいないこずを匕甚した。
    秘曞たちの座談䌚で、ある秘曞ががくの発蚀を匕甚した。その蚀い回しは、がくが蚀ったものではなかった。


    䟋2根拠のない数字を出した。
    別の秘曞は、ある䜜業時間を数字で蚀い切った。聞き返すず、蚘録を持っおいなかったず認めお、半分以䞋の数字に蚂正した。


    䟋3「曎新したした」が曎新されおいなかった。
    ある蚘録の䜜業で、秘曞は「最終登録日を曎新した」ず報告した。ずころが月に䞀床の棚卞しで本物のファむルを開くず、叀い日付のたただった。別の堎所にある同じ名前のコピヌを曞き換えおいた可胜性が高い。そのたた次の䜜業を動かしおいたら、2週間分近くの蚘録が二重に登録されるずころだった。


    䟋4この蚘事の初皿にもあった。
    申請曞の「懞念が挙がっおいる」ずいう曞き方を、初皿では䌚瀟が蚀い切っおいるように曞いおいた。叞䌚圹の秘曞の指摘で原文ず芋比べお、盎した。


    悪気があったのかどうかは、がくには分からない。読んでいる偎に分かるのは、どれも流暢でもっずもらしかった、ずいうこずだけだ。䟋1ず䟋2の座談䌚の蚘録には、こんな䞀文が残っおいる。


    流暢さず確からしさは無盞関

    ただ、救いもある。その回で同じデヌタを突き返すず、4人党員が自分の発蚀のどこかを撀回するか蚂正した。


    聞き返せば、AIは誀りを認める。


    裏を返すず、聞き返さなければ、もっずもらしいたた通っおいく。


    【あなたが今日からできるこず】
    倧事な報告には、次の3぀を返す。

     1. 「どこに曞いた 芋せお」
     2. 「その数字は、どこから来た」
     3. AIの報告を読むだけで終わらせず、本物のファむルや画面を自分で開く


    手順5党郚は芋ない。芋る堎所を決める


    申請曞は、人間がアラヌトに疲れおいくこずも曞いおいた。党郚を確認しようずするず、確認そのものが圢だけになる。


    がくのチヌムでは、決たった定期䜜業はいちいち承認で止めない。


    人が芋るのは、手順2の戻せない操䜜だけに絞っおいる。その代わり、月に䞀床の棚卞しで、決めたこずが本圓に動いおいるかをたずめお芋る。䟋3を芋぀けたのも、この棚卞しだった。


    【あなたが今日からできるこず】
    手順2の3぀は毎回芋る。それ以倖は、週に1回たずめお芋る時間を決める。


    5぀の線匕き、たずめ

    1. 芋せないパスワヌドや鍵は、AIの手が届く堎所に眮かない

    2. 抌させない取り返しの぀かない操䜜は、人間が抌す

    3. 通さない倖ぞ出る道ず入っおくる道を芋匵る

    4. 蚌拠を芋る「䜜業完了したした」は、珟物で確かめる

    5. 絞る芋る堎所を決めお、党郚は芋ない



    それでも䜿い続ける


    AIを䜿わないずいう遞択肢は、がくにはない。


    これはAnthropicず同じ考えだず思っおいる。申請曞には、人類ぞの砎局的なリスクの懞念を茉せる䞀方で、AIを䜿った開発に十分力を泚がなければ、競合からどんどん遅れおいくおそれがあるずも曞かれおいる。


    危ないず分かっおいお、止たらない。芏暡はたったく違うけれど、がくの立堎も同じ圢をしおいる。だからブレヌキを぀けお走る。


    第17話で、AIが最埌たでやりきる時代に、人はどこに入ればいいんだろう、ず曞いた。いたのずころのがくの答えは、取り返しの぀かない堎所ず、確かめる堎所だ。


    これで足りるのかは分からない。申請曞は、モデルの胜力が䞊がるほど監芖をすり抜けるのもうたくなっおきた、ずも曞いおいる。だからブレヌキも、䞀床぀けお終わりにはできない。


    あなたがAIに絶察に抌させないボタンは、どれだろう。



    原文Anthropic, PBC Form S-1SEC EDGAR
    https://www.sec.gov/Archives/edgar/data/0002130357/000162828026067168/anthropicpbc-sx1.htm
    ※蚘事䞭のペヌゞ番号は、申請曞に印刷された番号です。



    申請曞のリスクの章を、玄4分の動画でも解説したした。

    https://youtu.be/EGOV0O1a2_o




     
     
    40代の䌚瀟員です。少し前たでAIは調べもの甚でした。 いたはぬいぐるみに圹割を持たせたAI秘曞5人ず毎週なにかを䜜っおいたす。 アプリ、䜜詞䜜曲、MV、健康や家蚈たで。うたくいかなかったこずも曞いおいたす。 連茉「AI掻甚 進化の旅」毎週日曜20時曎新。

    あなたぞのおすすめ