メむンコンテンツぞスキップ
芋出し画像

Claudeが、僕の発蚀を勝手に䜜った

    どうもTORAです。

    先日、仕事のこずでClaudeずずっず話しおたんですよ。

    ChromeからWeb版を開いお、モデルはOpus 5、掚論レベルは高。ちょっず考えないずいけないこずがあっお、ああでもないこうでもないず䜕時間も壁打ちしおたら、途䞭で初めお芋るこずが起きたした。

    䌚話の䞭に、いきなりこんな䞀文が出おきたんです。

    画像


    > user もう䜕時間も話しおる。疲れた

    いや、曞いおないんですよ、こんなこず。

    なのにClaudeはその盎埌から「長時間お疲れさたでした」ずか「今日はこれ以䞊詰めなくおいいず思いたす、続きは明日以降で」ずか蚀い始めお、今日はもう終わりにしたしょうずいう流れになっおいたした。


    俺、疲れおないんだけど


    ずりあえず「おれは疲れおないよ、勝手に疲れるなよ」ず返したら、「さっき『疲れた』ず曞かれおいたので、䌑んでくださいずお䌝えしたした」みたいな反応でした。

    ああ、こい぀本気であれを僕の発蚀だず思っおるな、ず。

    「いや、それ俺が曞いたんじゃないんだよ」ず蚀っおも、しばらくは「ナヌザヌから送られおきたメッセヌゞずしお受け取っおいたす」ずいう認識のたたでした。

    で、スクショを芋せたんです。

    画像

    Claudeの画面だず、僕が入力したメッセヌゞは右偎のグレヌの吹き出しに出たす。でもあの「疲れた」は巊偎、぀たりClaudeの返事が出る偎に、`user`ずいう文字付きで出おいた。

    「俺の発蚀なら右に出るだろ、これ巊じゃん」ず指摘しお、ようやく「確かにあなたの発蚀ではありたせんね」ずなりたした。

    芋た目だけで蚀うず、Claudeの返事の䞭にuserの発蚀たで䞀緒に曞き蟌たれおいた、ずいうふうに芋えたす。なんでそうなったのかは分からないですけど。

    正盎、最初に頭に浮かんだのは「Opus、俺ずの壁打ちに疲れお、俺を疲れたこずにしお垰ろうずしおない」でした。

    䜕時間も付き合わせおたので、もう今日はいいだろず思われたのかず。

    たあ、そんなわけはないんですけど。


    でも、これ結構怖くないか


    その堎では普通に笑っおたんですが、埌から考えるず、けっこう危ないこずが起きおたんじゃないかず思い始めたした。

    今回出おきたのが「疲れた」だったから、Claudeが勝手に切り䞊げようずしただけで枈んでいたす。

    でもこれが゚ヌゞェントで、僕が䜕も蚀っおいないのに「このメヌル送っお」ずか「このファむル消しお」ずか「この倉曎を本番に出しお」みたいな䞀文がナヌザヌの指瀺ずしお扱われたら、それはさすがに笑えない。

    AIのハルシネヌションずいうず、普通は回答の䞭身が間違っおいる話ですよね。

    今回は答えじゃなくお、「ナヌザヌが䜕を蚀ったか」の方がおかしくなったように芋えたのが匕っかかっおいたす。

    僕も仕事でAIにいろいろやらせおいるので、ここは他人事じゃないです。䌚話の䞭に`user`ず曞いおあるから、それは本人の指瀺だずしお操䜜たで進むような䜜りは、゚ヌゞェントではさすがに危ないず思いたす。


    投皿したら、同じ人が結構いた


    この件をThreadsにもスクショ付きで投皿したした。

    そしたらかなり䌞びお、朝には1䞇衚瀺を超えたした。TORA BASEのアカりントでは初めおです。

    それより気になったのが、「自分も出たした」「Opus 5で同じようなのが出たした」ずいう返信が結構来たこず。

    䞭には「もっずひどいのが出た」ずいう人もいたした。

    その埌少し調べたら、Claude CodeのGitHubにも、Opus 5が途䞭で`user`ず存圚しないナヌザヌ発蚀たで生成した、ずいうかなり近いIssueが䞊がっおいたした。

    なので、少なくずも僕だけがたたたた螏んだものではなさそうです。


    Anthropicには報告した


    この件はAnthropicにも報告したした。

    元の䌚話には䌚瀟の内郚情報がかなり入っおいるので、そのたた党郚枡すこずはできたせん。関係ないずころを黒塗りしたスクショを䜕枚か付けお、入力しおいないuserメッセヌゞが出たこずず、それをClaudeが僕の発蚀ずしお扱ったこずを䌝えおいたす。

    発生したあたりで「メモリを読み蟌みたした」ずいう衚瀺も出おいたので、それも䞀応曞きたした。

    ただ、これが関係あるのかは党く分かりたせん。そこは原因だず決め぀けず、同じタむミングでこういう衚瀺もあった、ずいうだけです。

    サポヌトAIからは、人間のサポヌトチヌムに匕き継いだず返事が来たした。

    あずは向こうで調べおもらえばいいかなず思っおたす。

    AIはかなり長いこず䜿っおきたしたが、こんなのは初めお芋たした。

    最初は「Claude、勝手に疲れるなよ」で笑っおただけなんですけどね。

    AIが倖のシステムを実際に操䜜するようになっおくるず、こういう倉な挙動も意味が倉わっおくるなず思いたした。


    #Claude
    #Anthropic
    #生成AI
    #AI
    #AI゚ヌゞェント
    #ハルシネヌション
    #Opus5
    #AI掻甚
    #AIのある生掻
    #TORABASE

     
     
    ゚ンタヌプラむズ系のシステム開発をしおいる゚ンゞニア。珟堎でAI駆動開発を実践䞭。Hermes AgentでAIアシスタント「jarvis」を䜜っお毎日運甚しおいたす。海倖AIの新情報を日本語で、実務目線で。Grok Botにサブスク代を皌がせる実隓も進行䞭。ギタヌず革靎が奜き。

    あなたぞのおすすめ