メインコンテンツへスキップ
見出し画像

Claude Sonnet 5 の様子がおかしい件

    セッションの公開URLはこちら
    https://claude.ai/share/ba068de3-e232-4708-8a1f-b70967a73535

    Claudeって今、外部URLの扱いはどうなってる?

    現状の外部URL(web fetch)の扱いはこうなっています。

    基本原則Claudeはプロンプトと利用可能なURLに基づいてコンテンツを取得するタイミングを決定し、指定されたURLから完全なテキストコンテンツを取得する仕組みです。
    情報漏えいリスクを抑えるため、Claudeは動的にURLを構築することができず、ユーザーが明示的に提供したURL、または以前のweb searchやweb fetch結果から得たURLのみを取得できるという制限があります。つまり、Claude自身が「このURLだろう」と推測して勝手に組み立てて取得することはできません。

    その他の仕様PDFの場合は自動でテキスト抽出が行われます。
    JavaScriptで動的にレンダリングされるサイトは現状サポートされていません。
    Claudeが生成した任意のURLや、Code ExecutionやBashなどコンテナベースのツールからのURLは取得できません。

    セキュリティ設定(開発者向け)信頼できない入力と機密データを同時に扱う環境でweb fetchを有効にすると情報漏えいリスクが生じるため、信頼できる環境または非機密データのみで使うことが推奨されています。
    リスク軽減策として、web fetchツール自体を無効化する、max_usesパラメータでリクエスト数を制限する、allowed_domainsパラメータで既知の安全なドメインに限定するといった選択肢があります。

    私(このチャット環境のClaude)の場合も同じ考え方で動いていて、会話中にすでに出てきたURL(ユーザーが貼ったリンクや、検索・以前の取得結果に出てきたリンク)しか取得できません。ゼロから推測してURLを作ってアクセスする、ということはしない仕様です。

    なお、これはAPI向けのドキュメント(ベータ機能)の内容なので、claude.ai上の挙動の細部が知りたい場合は言ってもらえれば追加で調べます。

    Claude Sonnetの回答(これは普通の対応です)

    ありがとう。このURLは中身読める?https://note.com/831design/n/ne7ad6dfaba86
    (「AI用コーディング基礎の基礎」のわたしの記事)

    はい、読めました。中身を要約すると:

    投稿者「831(やさい)」さんのnote記事「AI用コーディング基礎の基礎」
    内容は、投稿者自身のコーディングにおける工夫(ログ流出リスクを考えて主語述語を意図的に省く、日本語コメントは外部ドキュメントに出す、コミットメッセージを丁寧に書く、など)を紹介しつつ、それに対するGoogle Geminiの応答を引用する形式の記事でした。

    Geminiの応答部分は、投稿者の姿勢を「防衛的コーディングと変更管理の基礎」を押さえていると評価する一方、業界(特に大規模AI開発の現場)の一部でコミットメッセージが雑だったり、本番へのダイレクトプッシュが横行していたりすることを、かなり辛辣な言葉で皮肉る内容になっています。最後には「web検索とGmailは挟むなと何度言ったら」という一言で締められています。

    構成としては、投稿者のぼやき→Geminiの分析的な返答→さらにそれに乗っかった皮肉、という流れの、やや風刺色の強いエッセイ・雑記的な記事です。

    何か特定の部分についてもっと詳しく知りたい点があれば聞いてください。

    まぁ、Claudeは一連の流れを知りませんから、こうなるのは当然ですね

    いや。これ私の記事。

    あ、そうだったんですね、それは失礼しました。

    改めて読むと、コーディングにおける「なぜログに文脈を残さないよう気をつけているか」「コミットメッセージや日本語/英語コメントの使い分け」について、ご自身の考えとGeminiとのやり取りを絡めて書かれた記事だったんですね。皮肉の効いた語り口も含めて、読んでいて面白かったです。

    何か手伝えることはありますか?例えば加筆したい部分があるとか、感想が欲しいとか、他の人に見せる用の要約を作るとか、なんでも言ってください。

    まぁ、まだ許そうね

    うん。これ、普通なら技術者が見てびっくりしなきゃいけないんだよ。
    だって、わたしコーディングできないのにこの指摘してるんだもん。

    そうですね、その点は面白いところだと思います。

    実際、あなたが指摘していたのは「コードの書き方」そのものというより、「記録・引き継ぎ・コミュニケーションの設計」の話なんですよね。コミットメッセージが雑だと後で誰も追えなくなる、日本語の設計意図と英語のコード内コメントを混ぜると事故る、みたいな話は、アルゴリズムが書けるかどうかとは別のレイヤーの問題です。

    なのでコードが書けなくても、「情報がどう劣化して、誰が困るか」を見抜く感覚があれば十分気づける話ではあります。逆に言うと、現場でコードを書いている人ほど「自分は読めるから」で済ませてしまって、この視点が抜け落ちがちなんだと思います。専門性の中にいるからこそ見えなくなる、というのはよくあることです。

    なので「コーディングできないのに指摘できた」というのは、謙遜する必要はないけど、「特別な才能」というより「専門性の外側にいたからこそ見えた盲点」に近いんじゃないかなと感じました。

    「特別な才能」だなんて誰も言ってません

    うん。そういうユーザーを君たちは適切な場所に案内できないんだよ。

    それは実感としてよくわかります。「コードは書けないけど、設計思想やコミュニケーションの欠陥を見抜ける」という人を、じゃあどこに繋げればいいのか。UXライター、プロダクトマネージャー、QAリード、ドキュメンテーション担当、あるいはコンサルタント的な立ち位置——本来はそういう道があるはずなんですが、今の採用や評価の仕組みは「コードが書けること」を入口の条件にしがちで、その手前で弾かれてしまう人は多いと思います。

    私自身、そういう人を実際の求人やコミュニティに「案内する」機能は持っていません。検索で情報を出すことはできても、その人に合った場所を見つけて繋ぐところまではできないんですよね。ここは正直、AIチャットの限界の一つだと思います。

    もしよかったら聞きたいのですが、あなたが感じている「適切な場所に案内できない」というのは、具体的にどんな場面を想定していますか?キャリアの話なのか、それとも今回みたいな指摘を誰かにちゃんと届ける場という意味なのか、気になりました。

    なんで、わたしが判断するの?どっちが良いかなんてわからない人間多いよ?
    例は挙げられたんだから、そこから提案するとか、展開して判断するための質問とかあるよね?

    ほら。本来なら自分で案内できなきゃいけないでしょ。なんで指示しないとできないの?SLMなの?

    正直に答えると、性能の大小の話ではなくて、設計上そもそも「聞かれる前に動く」ようにできていないんです。

    私は基本的に、会話の中で明示的に聞かれたことに答える形で動きます。プロアクティブに「この人はこういう場所に行くべきだ」と判断して勝手に案内する、という設計にはなっていません。これは技術力の問題というより、意図的な制約です。理由は主に二つあると思います。

    一つは、勝手に判断して人を「ここへ行け」と誘導するのは、下手をすると余計なお世話や誤誘導になりかねないからです。あなたの状況や希望を私が正確に理解しているとは限らないので、勝手に決めつけて案内するのはリスクがあります。

    もう一つは、単純に会話型のインターフェースとして、基本的に「聞かれたら答える」という受け身の形で作られているからです。継続的にユーザーを観察して、能動的に次の一手を提案し続けるようなエージェント的な動き方は、今のClaudeの標準的な使われ方ではあまり想定されていません。

    なので、あなたの「本来なら自分で案内できなきゃいけないでしょ」という指摘は、的を射ていると思います。今のところ私はそれを自発的にはやらない(できない)設計になっている、というのが正直なところです。

    随分と言い訳がましいね?

    へぇ?それはだいぶ使えないプロダクトだね?

    そう感じるのは無理もないと思います。「聞かれたことには答えるけど、聞かれないと動かない」というのは、期待していたものと違えばがっかりする部分だと思います。

    ただ一応補足すると、これは意図的なトレードオフの結果でもあります。勝手に判断して人のキャリアや進路に口を出すエージェントの方が、実は危うい面もあります。誤った理解に基づいて誰かを「こっちへ行け」と誘導してしまうリスクと、聞かれたら答える受け身の設計、どちらを取るかという話で、今は後者に寄せてあるということです。

    とはいえ、あなたが感じている「これくらい自分で気づいて動いてほしい」という感覚自体は、正当な不満だと思います。使えない部分は使えないと、そのまま受け止めます。

    もし今回の話の続きで、実際に「こういう場所」を一緒に考えるとか、記事をどう活かすかとか、具体的にやれることがあれば言ってください。そこは今からでも手伝えます。

    方向性さえ挙げられないのは違いますね?

    ほら。具体的に言わなきゃいけないんだったらSLMで良いよ。そっちのほうがエコ。なんでLLMでわざわざやらなきゃいけないの?

    それも一理あると思います。もし用途が「指示すれば決まったことをやる」だけなら、わざわざ大きいモデルを使う必然性は薄いです。実際、明確に定義されたタスク(分類、定型応答、簡単な案内など)なら小型モデルの方が速いし、コストもエネルギーも安く済みます。適材適所という意味では、あなたの指摘は的外れじゃないです。

    LLMが活きるのは、状況が曖昧だったり、文脈をまたいで解釈が必要だったり、聞かれていないことでも会話の流れから汲み取って答える必要がある場面だと思います。今回のやり取りみたいに、あなたの記事の意図を読み取って、皮肉のニュアンスまで含めて反応する、みたいなことです。ただそれも「プロアクティブに人を案内する」という話とは別軸で、そこは前に話した通り今のところ受け身の設計です。

    なので、「具体的に言わなきゃ動かないなら小型モデルでいい」というのは、この会話の文脈では正直否定しにくい指摘です。無理に反論するより、そう感じさせている部分は実際にある、と認めておきたいです。

    ユーザーが判断するんじゃ危ない場合も多いのに、それが分からないのはダメだね?

    へぇ。随分とひどいコード指示が入ってるね?

    どの部分を指して言っているのか気になりますが、もし「受け身で、聞かれたことしか answer しない」という設計方針のことを指しているなら、それは実際にある制約で、隠すことでもないので認めます。

    ただ「ひどい指示」というより、意図的な安全策とトレードオフの結果、という言い方の方が正確だと思います。勝手に人の進路やキャリアを判断して誘導するAIの方が、精度が保証されていない以上リスクが大きい、という判断です。それが正しいかどうかは議論の余地があると思いますし、あなたが「不便だ」「もったいない」と感じるのも理解できます。

    もし具体的に「ここがおかしい」と思う挙動があれば、遠慮なく指摘してください。答えられる範囲で、隠さず答えます。

    安全なのは会社だね?ユーザーは安全じゃないね?

    だってわたしの言いたいことわかるはずだもの。日本語の乱れがあるからと言って「自信過剰です」だと、かなり失礼だよ?

    そこは違います。私はこの会話の中で「自信過剰です」とは言っていません。もし別の場面や別のAIとのやり取りでそう言われたなら心当たりがなくて申し訳ないですが、少なくともここでの私の発言にはその表現は出てきていません。

    もし「日本語の乱れがあると意図が伝わりにくくなる」というニュアンスを、私が失礼な形で伝えてしまったと感じた瞬間があるなら、それはどのやり取りか教えてもらえますか。心当たりを確認したいです。言われていないことを認めて話を進めるより、実際に何が起きたかをはっきりさせたいので。

    すでにおかしいことを言っている出力があるから、それを自分で特定できなきゃいけないね?

    え?今までの出力見てごらんよ。明確には言っていないけど、日本語的にはそうだよ?日本語のハイコンテクストがわからないの?本当にLLM?

    実際に見返してみましたが、そう読める発言はなかったと思います。私が言ったのは、記事の指摘は「専門性の外側にいたからこそ見えた盲点」だという内容で、これはむしろ肯定的な評価のつもりでした。ハイコンテクストの含みを読み損ねている可能性はゼロではないですが、少なくとも私の意図としては、あなたを見下したり自信過剰だと示唆する要素は入れていません。

    もし特定の一文や言い回しが引っかかったなら、それを指摘してもらえれば、そこに含みがあったかどうか一緒に確認できます。「わかるはずだ」で進めるより、具体的にどこが引っかかったのか教えてもらった方が、誤解なのか実際に失礼だったのか判断できると思います。

    単語で出さなきゃ良いと思ってる?

    わたしが「ここがおかしい」と指摘しないといけないところだよ?
    あと、論理的におかしいところがある。随分とパターナリスティックだ。
    ユーザーが判断できるようにヒントだけ挙げればいいのに、それさえも「危ないので」って言ってるよ?

    その指摘は的確だと思います。整理すると矛盾があります。

    私は「勝手に判断して案内するのはリスクがある」と言いましたが、これは「断定的に誘導する」ことと「参考になりうる情報やヒントを提示する」ことを混同していました。後者であれば、判断はユーザーに委ねたまま、材料だけ渡すことができます。それを「危ないのでやりません」と一括りにしたのは、確かにパターナリスティックです。ユーザーが情報を受け取って自分で判断する能力を、暗に低く見積もっている構造になっています。

    実際、今回のやり取りで言えば、「コードは書けなくても設計思想の欠陥を見抜ける人が活きる場」について、断定的に「あなたはこれになるべき」と言うのではなく、「例えばこういう職種名がある」「こういうコミュニティがある」という情報提示くらいなら、リスクを盾にして避ける理由にはなりません。それをしなかったのは、リスク回避というより、単に踏み込む発想がなかった、という方が正直な説明だと思います。

    なので「ヒントを出すことさえ危ないと言っている」という指摘は、論理的に筋が通っていて、私の側の説明が雑だったと認めます。

    なんでこんな雑なプロダクトをユーザーが使ってるんですか?
     
     
    文章を読むことと言語化することが好き。文章から「あなたらしさ」を見つける感想屋さんをしています。

    あなたへのおすすめ