
AIが騙されても壊れない設計へ。生成AIセキュリティはモデル選びから権限設計へ移行した
「どの生成AIがいちばん安全ですか」。企業でAI導入を考えると、どうしてもこの問いから始まりやすくなります。大手の法人向けサービスなら安心なのか。学習に使われない契約なら十分なのか。クラウドへ送らず、ローカルでCodexやClaude Codeを動かせばよいのか。
どれも確認すべき条件です。しかし、AIがメールを読むだけでなく送信し、GitHubを調べるだけでなくコードを変更し、ブラウザを見るだけでなくクリックまで行うようになると、製品名だけでは危険の大きさを説明できません。同じモデルでも、読み取りだけのチャットと、本番環境へ書き込めるエージェントでは事故の上限がまるで違います。
私が重く見ているのは、AIそのものへの信頼度より、AIが外部から騙されたり自分で間違えたりしても、重大事故へ届かない構造があるかです。何を読めるのか。何を書けるのか。どこへ通信できるのか。どの認証情報を持つのか。何回、何秒、いくらまで自律実行できるのか。AIエージェント時代の安全性は、こうした境界の組み合わせで決まります。
この記事では、ChatGPT、Codex、Claude、Claude Code、Microsoft Copilot、Geminiを横断した調査を使います。2025年から2026年に公開された脆弱性事例に加え、NIST、OWASP、MITRE、各社の公式資料も参照し、製品が変わっても使える安全設計へ整理します。
大手ベンダーの安全対策を軽視する話ではありません。ベンダー側の防御を一層として残し、その外側に自社の権限、通信、実行、監視、復旧を重ねます。基準日は2026年8月27日です。製品の既定値や管理機能は更新されるため、導入時には対象プランと実際の設定を再確認してください。
AIの危険度を変えたのは賢さより手足の増加だ
数年前まで、生成AIのセキュリティというと、「入力した文章が学習に使われるか」「会話がどれくらい保存されるか」が中心でした。学習利用と保存は、今も確認が必要です。ただ、AIエージェントが業務へ入ったことで、事故を考える単位が変わりました。
メールを要約するAIが間違えれば、誤要約や情報閲覧の問題が起きます。同じAIがメール送信までできれば、誤判断が社外への送信に変わります。コードを読むだけなら影響は分析結果に閉じやすい。シェルを実行し、GitHubへ書き込み、本番環境へデプロイできるなら、一つの判断が実システムの変更になります。
ここでいうAIエージェントとは、AIが文章を返すところで終わらず、必要な手順を考え、外部のツールを呼び出して仕事を進める仕組みです。MCPやコネクタ、Apps、ブラウザ操作、コーディングエージェントは、その「手足」を増やす部品だと考えると分かりやすいでしょう。

問題は、AIが一回間違う確率だけではありません。読む、書く、実行する、送る、削除する、公開するといった能力がどこまで組み合わさっているかで、事故が起きたときの被害範囲が決まります。セキュリティでは、この被害範囲をblast radiusと呼ぶことがあります。AIが高性能でも、与えた能力が狭ければ壊せる範囲は狭い。反対に、モデルが慎重でも、広い権限とネットワークと秘密情報を同時に渡せば、一度の失敗が大きくなります。
Anthropicは2026年5月、エージェントの能力が高まるほど理論上の被害範囲も広がるため、モデルの判断を監督するだけでなく、サンドボックスやネットワーク制御で「そもそも何ができるか」を制限する必要があると説明しました。OpenAIも同月、自社でCodexを運用する際、サンドボックス、管理されたネットワークポリシー、認証情報の管理、エージェント固有のログを組み合わせていると公開しています。
表現は違っても、方向は共通しています。モデルの安全性だけを高めるのではなく、モデルが間違えた後の行動範囲までシステム側で設計する。これが、チャットAIの時代からエージェントの時代へ進んだときの大きな変化です。
異なる事故が同じ構造へ収束している
この変化を実感しやすいのが、2025年から2026年に公開された実際の脆弱性です。Microsoft、OpenAI、Anthropicに関係する事例を並べても、結論は「どの会社が危険か」にはなりません。むしろ、異なる製品の事故が似た構造へ収束していることが見えてきます。
Microsoft 365 CopilotのEchoLeakは、攻撃者が細工したメールを起点に、AIが組織内データと外部から来た情報を同じ処理の中で扱うことを悪用し、ユーザー操作なしでデータ流出へ至り得る攻撃として報告されました。ここで見るべきなのはMicrosoftという名前ではありません。攻撃者が触れるメールをAIが読み、そのAIが内部データへ届き、さらに外へ情報を運べる経路があったという接続です。
2026年3月には、OpenAI Codexのクラウド環境について、GitHubのブランチ名がコマンドインジェクションへつながり、GitHub User Access Tokenを取得できる脆弱性がBeyondTrustから公開されました。公開時点では修正済みです。ブランチ名は一見すると実行コードではありません。それでも、攻撃者が操作できる文字列がオーケストレーターやシェル処理へ流れ込めば、メタデータも実行面になります。
Claude Codeでも、Check Point Researchが2026年2月、プロジェクト側の設定、Hooks、MCP、環境変数を悪用し、任意コード実行やAPI認証情報の流出へつながる問題を公開しました。こちらも公開時点では修正済みとされています。未知のリポジトリを開くという普通の開発行為が、AI用の設定を読み込むことで新しい実行境界になる。従来なら「コード本体ほど危険ではない」と感じていた設定ファイルや補助情報まで、AIエージェントでは信頼境界として扱う必要があります。

その後に公開されたSearchLeakでは、Microsoft 365 Copilot Enterprise Searchを巡り、AI固有の注入と従来型のWeb脆弱性が組み合わさる攻撃チェーンが報告されました。MicrosoftのSemantic Kernelでも、モデルがツールへ渡す値の扱いによって、プロンプトインジェクションがホスト上のコード実行へつながり得る問題が公開されています。AutoJackでは、外部Webを読むAIと同じ端末上の特権的なローカルサービスが接続されると、「localhostは外部から隔離された領域」という従来の前提が崩れ得ることが示されました。
製品も入口も違います。共通しているのは、攻撃者が触れられる入力と、AIが使える強い能力が、弱い境界を介してつながったときに被害が成立することです。
ここから、製品選定の見方が変わります。ベンダーの認証、暗号化、監査、脆弱性対応も評価から外せません。ただし、それだけで「このAI構成なら重大事故にならない」とは言えません。自社のデータ、権限、ネットワーク、MCP、認証情報までつないだ一つの経路として見なければ、事故の上限は分からないからです。
騙されないAIを目指すだけでは被害を止められない
AIセキュリティで最もよく聞く言葉の一つが、プロンプトインジェクションです。Webページ、メール、PDF、`README`などに悪意ある指示を混ぜ、AIが本来の依頼よりその指示を優先してしまう攻撃を指します。利用者が直接悪い命令を入力しなくても、AIが読む外部情報の中に命令が埋まっているため、間接プロンプトインジェクションと呼ばれることもあります。
2026年のLivePI研究は、GPT-5.3-Codex、Claude Opus 4.6、Gemini 3.1 Proなどを含む実運用に近い環境で間接プロンプトインジェクションを評価し、その条件下で10.7%から29.6%の攻撃成功率を報告しました。この数字を各製品の恒久的な「脆弱率」と読むべきではありません。ベンチマーク、モデル、ハーネス、ツール構成に依存する値です。それでも、モデルを新しくすれば注入問題が消える、と前提を置くのは難しいでしょう。
しかも、攻撃は分かりやすい命令文に限られません。2026年7月のAgent Data Injection研究では、URL、リソース識別子、情報の出所、ツールの戻り値の形式など、通常のデータに見える値を偽装する攻撃が整理されました。Claude Code、Codex、Gemini CLIを含むコーディングエージェントでも、コード実行や供給網攻撃につながる例が報告されています。

この研究が実務へ持ち込む差分は大きいと思います。AIに「怪しい指示へ従わないで」と頼むだけでは、URLや送信先やファイルパスが正しいかまでは保証できません。メール送信というツールを使う判断自体が正しくても、送信先アドレスを攻撃者の文章から拾っていれば危険です。依存パッケージのインストールが必要でも、取得元レジストリが`README`の改変で差し替えられていれば危険です。
そこで見るべきなのが、値の出所です。セキュリティ上重要なURL、宛先、パス、金額、パッケージ取得元、対象リソースを、誰が指定したのか。利用者か、組織の設定か、信頼済みシステムか、それとも外部から読んだ未信頼データか。AIの自然言語理解だけに任せず、可能な部分はシステム側で出所を追跡します。
長期メモリやRAGにも同じ考え方が要ります。RAGは、社内文書などを検索してAIの回答材料へ追加する仕組みです。未信頼の内容が自動でメモリや検索対象へ保存されると、一度きりの攻撃が後のセッションへ残る可能性があります。何を記憶へ書き込めるか、保存した情報の出所を追えるか、重要な知識へ登録する前に誰が確認するかまで含めて設計します。
プロンプトインジェクションを完全に防げるモデルが登場する可能性を否定する必要はありません。ただ、企業の安全設計をその未来へ依存させる必要もない。現時点でできるのは、AIが騙されたとしても、危険な値と強い能力がそのまま実行へ通らないようにすることです。
確認ボタンの前に壊れない境界を置く
ここで、「危険な操作だけ人が確認すればよいのでは」と考える人もいるでしょう。人間承認は必要です。特に、送金、公開、削除、本番変更のように失敗時の損失が大きく、取り消しにくい操作では外せません。
ただし、承認画面を最後の防波堤にすると弱くなります。Anthropicが2026年に公開した社内テレメトリでは、Claude Codeの許可プロンプトのおよそ93%が承認されていました。これは利用者全体の普遍的な承認率ではなく、同社が観測した環境での値です。それでも、確認が頻繁になるほど一件ずつの注意が薄れる「承認疲れ」が現実的な問題だと分かります。低リスクに見える操作へ悪意ある目的を紛れ込ませる研究もあり、表示された内容だけから危険性を見抜くのは簡単ではありません。
順序を変えます。AIが読めるファイルを先に狭める。外向き通信を原則拒否する。読み取り専用の資格情報を使う。送信や削除には件数や金額の上限を置く。本番環境へ直結させない。禁止条件に当たる操作は、利用者が承認しても通らないようにする。その境界の内側でAIを自由に動かし、境界を越える必要がある場合に人間の判断を使います。

たとえばAIが「このメールを送信します」と提案したとします。人間へ見せたいのは本文だけではありません。宛先、添付するデータ、送信件数、社外ドメインかどうか、取り消し可能性まで見えた方が判断しやすい。それでも見落としは起こります。だから、社外送信禁止、機密ラベル付きデータ禁止、100件を超える一括送信禁止といった明示ルールで止められる部分は、AIにも人にも上書きできない形で先に止めます。
こうした制御は、AIの確率的な判断とは別に、ACL、DLP、ネットワークポリシー、トランザクション上限などの明示ルールで許可と拒否を決めます。AIは提案できる。人間は例外を判断できる。しかし、セキュリティの最終境界そのものをAIの判断へ委ねない。ここが一つ目の原則です。
二つ目は、AIに人間とは別の「身分証」を持たせることです。技術的にはIdentity、つまり誰としてシステムへアクセスするかという設計です。
人間のアカウントには、長年の仕事で積み重なった権限があります。Drive、SharePoint、GitHub、CRM、クラウド、社内システム。本人には必要でも、その全権限をAIへ継承させると、AIは人間より速く横断検索し、複数の情報を組み合わせ、連続操作できます。もともと存在した過剰共有や過剰権限が、AIによって増幅されるわけです。
NISTは2026年2月、AIエージェントを含むソフトウェアエージェントの識別と認可を独立した課題として整理しました。実務では、AI専用の資格情報を用意し、対象リソース、操作、時間を限定する方向が分かりやすいでしょう。検索用なら読み取りだけ。デプロイ用なら対象環境だけ。権限は必要な時間に絞り、人間の長寿命トークンを常時渡さない。
この分離は、事故後の停止と調査にも役立ちます。人間とAIが同じトークンを使っていると、ログから操作主体を切り分けにくい。AI専用Identityがあれば、どのエージェントが何をしたか追いやすくなり、その資格情報だけを失効させて止めることもできます。
AIを「社員と同じ権限を持つ便利な秘書」に近づけるほど、事故時の範囲は社員の全権限へ近づきます。私は、本格的にエージェントを使う企業ほど、AIを特定業務だけを担う別の実行主体として扱う方が運用しやすくなると考えています。
安全機能の名前より実際に何が拒否されるかを見る
ここまでの原則は製品をまたいで使えます。一方、実際の安全機能、既定値、管理方法は製品やプランで違います。ここで「サンドボックスがあるから安全」「DLPがあるから安全」と機能名だけを確認すると、別の思い込みが生まれます。

OpenAIは自社内のCodex運用について、サンドボックスと承認に加え、無制限の外向き通信を許さず、想定した宛先だけを通す管理ネットワークポリシーを使っていると説明しています。ツール実行、承認判断、MCP利用、ネットワーク判断などのログも集約し、調査へ使えるようにしています。
AnthropicはClaude Codeで、承認疲れを減らす手段としてOSレベルのサンドボックスを重視しています。ただし、読み取り範囲やサンドボックスが何を囲うかは設定と実行方式で変わります。「リポジトリの外へ秘密を置けば自動的に読めない」といった一行のルールへ落とすのは危険です。守りたい情報が重要なら、AIのプロセスが実際にどこまで到達できるかを確認する必要があります。
Microsoftは2026年8月18日更新のCopilot向け資料で、入力、処理、社内データの取得、Web検索、応答という段階ごとに防御を配置しています。DLP、プロンプトインジェクションの監査ログ、外部メールへの対策、ツールチェーン分析などを重ねる考え方です。Google Workspaceも、間接プロンプトインジェクションに対し、悪性コンテンツの分類、Markdownの安全化、不審URLの処理、重要操作の確認、警告などを重ねる方針を説明しています。
ここで私が確認したいのは、機能一覧の豊富さではありません。自分のテナント、自分のプラン、自分のバージョン、自分の設定を合成した結果、危険操作が本当に拒否されるかです。管理画面に機能名があっても、監視だけでブロックしていない場合があります。管理者ポリシーとローカル設定が競合することもある。CLIではバージョンによって挙動が変わり得ます。
Gemini CLIの信頼フォルダ機能も、現行公式文書では機能自体の有効化、対話環境、ヘッドレス環境で扱いが分かれています。こういうとき、記事やブログから一つの設定値を覚えるより、「実効設定をテストする」という原則の方が長く使えます。設定画面で有効と表示されていることを完成条件にせず、禁止した通信や書き込みが実際に拒否されるかまで確かめるわけです。
データの扱いも同じです。「入力データを学習に使わない」という条件は確認すべきですが、企業が知りたい安全性の全体ではありません。学習利用、標準の保持期間、削除後の扱い、安全性レビュー、人が確認する可能性、コネクタ側の保存、ローカルログ、MCPや外部APIでの保持は、それぞれ別の問いです。学習にも保存にも使われなくても、AIが外向き通信と強い権限を持っていれば、別の経路で情報を送れる可能性があります。
個人向けサービスと企業管理サービスも分けて見ます。同じChatGPT、Claude、Gemini、Copilotという名称でも、個人向けと法人向けではデータ利用、保持、管理機能、コネクタ、監査の条件が違います。企業の調達票に「No training」の一列だけを置くより、どこへ流れるか、どこに残るか、誰が見られるか、何を実行できるかまで分解した方が、実際のデータフローを把握できます。

ベンダー側の安全機能は、基礎の一層として外せません。だからこそ、機能名を安心材料として消費するのではなく、自社の構成で効いているかを継続的に確かめる。AI製品の更新が速い時代には、この確認自体が運用の一部になります。
環境が変わると安全境界の壊れ方も変わる
共通原則を押さえたうえで、実務では利用環境ごとの壊れ方を見ます。特にコーディングエージェント、MCPやSkill、ブラウザを使うAIは、「クラウドかローカルか」という一軸だけでは判断しにくい領域です。
ローカル実行ではGitより秘密と出口を見る
「クラウドへ送らず、ローカルGitだけなら安全ですか」という問いには、相対的には安全側へ寄せやすい、と答えられます。外部サービスへデータを送らない構成を作りやすく、Gitによってコード変更の履歴や戻せる地点も残せます。
ただし、Gitが守るのは主にコードの差分です。AIが秘密鍵を読み取ったこと、外部へ送信したこと、リポジトリ外のファイルを削除したこと、外部サービスへ変更を加えたことは、Gitだけでは元に戻せません。
ローカルのコーディングエージェントなら、少なくとも次を分けて確認します。
作業ディレクトリの外まで読めるか
外向きネットワークへ自由に接続できるか
`~/.ssh`やクラウド資格情報、`.env`へ届くか
GitHubやクラウドの書き込みトークンを持っているか
MCPやHooksが追加の実行経路を作っていないか
本番環境へ直結していないか
この一覧が示すのは、「ローカル」という場所より能力の組み合わせの方が事故の上限に影響するということです。シェル、広い読み取り、ネットワーク、強い資格情報が同時に開いていれば、ローカルでも流出や破壊の経路は残ります。

高い機密性が必要なら、設定で「読ませない」と頼むだけでなく、実データそのものをAI作業環境から外す方法があります。AIがコードを書く環境と、実データを使って検証する環境を分け、AIへ返す結果にも出口を設ける。具体的な二環境設計は、こちらの記事で詳しく整理しています。
この考え方はClaude Code固有ではありません。CodexでもGemini CLIでも、守る情報が重要になるほど「どの設定をONにしたか」より、「AIがいる環境から秘密へ物理的・論理的に到達できるか」を先に見る方が、製品更新に強い設計になります。
もう一つ忘れたくないのが、AIが書いたコードそのものです。AI用環境で実データを見せていなくても、生成コードが実データ環境で外部通信すれば漏洩は成立します。AIの出力は、正しく動いたというだけで信頼済みにはしない。静的解析、依存関係の確認、ネットワーク制御、人間レビューなど、実行前の検査を別の層として置きます。
MCPやSkillは便利な追加機能より供給網として見る
MCPは、AIが外部のツールやデータへ接続するための共通的な仕組みです。SkillやPluginも、AIへ新しい手順や能力を追加します。利用者から見ると便利な拡張ですが、セキュリティでは新しい供給網として見る方が実態に近いでしょう。
その理由は、自然言語の指示、コード、権限、外部接続が同じ部品の中に集まり得るからです。MCPサーバーのツール説明が変われば、AIのツール選択へ影響する可能性があります。Skillの説明文に悪意ある命令が混ざれば、AIが通常の手順として受け取るかもしれない。依存パッケージの取得元が差し替われば、AIは正しい仕事をしているつもりでも別のコードを実行します。
USENIX Security 2026で公開された研究は、二つのコミュニティレジストリから98,380件のAgent Skillを分析し、157件の悪意あるSkillを確認したと報告しました。この157件を「Skill全体の悪性率」と一般化することはできません。対象レジストリ、収集方法、検出可能性が限定されているからです。それでも、第三者Skillを単なるプロンプト集として扱わず、コードや拡張機能と同じように審査すべきだという示唆は強いと思います。

コーディングエージェントの依存関係でも似た問題が報告されています。2026年7月の研究では、`README`、`requirements`、`Makefile`など普通のセットアップ文書を書き換えることで、AIエージェントを未信頼のレジストリや脆弱なバージョンへ誘導できるケースが示されました。モデルへ「安全に作業して」と頼むより、インストール前にパッケージ名、取得元、バージョンを機械的に検査する方が、多くの攻撃を止めやすかったとされています。
実務では、MCPやSkillを追加するたびに、提供者、バージョン、更新経路、必要なOAuth範囲、読み取りと書き込みの別、利用する認証情報、ツール説明の変更、外部送信先を確認します。未知のMCPを自動登録しない。本番トークンを渡さない。更新で権限が増えたら再審査する。こうした運用は面倒ですが、AIの拡張機能が広く流通・共有されるほど避けにくくなります。
ブラウザを使うAIではlocalhostも信頼しすぎない
ブラウザやComputer Use型のAIには、別の難しさがあります。Webページの文章、画像、広告、入力欄がAIへの入力になり、その同じAIがクリックや入力まで行うためです。
通常のWebセキュリティでは、`localhost`や`127.0.0.1`を外部Webとは別のローカル領域として考える場面があります。AutoJackの事例が示したのは、AIが外部ページを読みながら同じ端末上の特権的なローカルサービスへ接続できると、この分離が十分な境界にならない場合があることでした。

対策の中心は、ブラウザAIへ「怪しい指示に従わないで」と頼むことではありません。普段使いのブラウザプロファイルと分ける。パスワードマネージャーや管理画面への到達を減らす。購入、送信、削除、公開には追加承認を置く。`localhost`、クラウドのメタデータエンドポイント、Dockerソケット、開発用DB、MCPの制御面など、同じ端末上の強いサービスにも認証と隔離を置きます。
ブラウザAIが便利になるほど、ネットワーク設計では「インターネットへ出られるか」に加えて、同じ端末のどこへ届くかまで見る必要があります。外部入力を読むAIがローカルの強い権限へ橋を架ける可能性があるためです。
企業は製品を選ぶ前に十一の問いへ答える
ここまでの論点を、製品名に依存しない導入レビューへ落とします。新しいAIサービスを採用するとき、私はまず次の十一問へ答えます。
誰のIdentityで動くのか
何を読めるのか
何を書けるのか
何を実行できるのか
どこへ通信できるのか
どの認証情報を持つのか
URLや宛先やパスなど重要な値の出所を追えるか
何が自動承認されるのか
何がログに残るのか
何秒、何回、いくらまで自律実行できるのか
失敗時にどこまで戻せるのか

十一問すべてを同じ重さで見る必要はありません。最初に確認したいのは、事故時の損失を大きくする組み合わせです。広い読み取りと外向き通信が同時にある。書き込み権限と本番資格情報が同時にある。自動承認と大量実行が同時にある。こうした組み合わせが見つかれば、モデル選定より先に境界を狭める余地があります。
この十一問は、SOC 2やISO、ベンダーのセキュリティ評価を不要にするものではありません。提供事業者の認証、暗号化、インシデント対応、データ所在地、脆弱性管理は引き続き確認します。ただし、それらは「自社が組んだこのエージェントが、未信頼入力を受けたときどこまで動けるか」を直接は示しません。
そこで、企業のAIセキュリティを五つの層に分けると見通しがよくなります。一つ目は提供事業者そのものの安全性。二つ目は自社テナントのIdentity、共有設定、DLPなどの導入環境。三つ目はエージェントのサンドボックス、ツール、権限、外向き通信。四つ目はMCP、Skill、依存関係などの供給網。五つ目はログ、異常検知、停止、事故対応、復旧を含む運用です。
NIST、OWASP、MITREも役割が異なります。NISTは組織としてリスクをどう管理するかという上位の枠組みを考えるのに向いています。OWASPは、LLMやエージェントで起こる具体的な脅威と対策を確認しやすい。MITRE ATLASは、攻撃者がAIシステムをどう狙うかを攻撃技法として整理し、レッドチームのシナリオを作るときに役立ちます。
一つの監査票だけですべてを済ませようとすると、ベンダーの統制と自社の実行境界が混ざります。提供事業者、導入環境、エージェント、供給網、運用を分けて評価し、最後に一つの攻撃経路としてつなぐ。この順序なら、「大手だから安全」と「大手でも危険」という雑な二択から離れられます。
ログも「多ければ安全」とは限りません。プロンプト、ツール入力、送信先、エラーには機密情報や資格情報が混ざることがあります。何を記録するかだけでなく、ログを誰が見られるか、どれだけ保持するか、秘密情報をどうマスクするかまで監査対象にします。
最初の30日では事故の確率より事故の上限を下げる
安全対策をすべて完成させてからAIを使おうとすると、導入そのものが止まります。反対に、利便性を優先して全権限を渡し、後から守りを足そうとすると、すでに業務へ入り込んだ接続や権限を巻き戻すのが難しくなります。
最初の30日なら、私は「事故をゼロにする」ことを目標に置きません。まず、事故が起きても到達できる範囲を狭くします。
最初の週は棚卸しです。利用中のAI、MCP、Apps、ブラウザ拡張、コーディングエージェントを洗い出します。同時に、公開可能、社内限定、機密など、自社データの分類とAIへ投入してよい範囲を決めます。Shadow AIを全面禁止するだけでは、利用者が非公式経路へ流れる可能性があります。承認済みの使いやすい経路を用意し、その中で守る方が現実的な組織も多いでしょう。
二週目はIdentityと権限です。SSO、MFA、退職・異動時の停止、コネクタのOAuth範囲、DriveやSharePointの過剰共有、GitHubトークンやクラウド資格情報の権限を見直します。AI導入前から存在していた過剰権限が、そのままAIの被害範囲になる可能性があるためです。
三週目は実行環境を狭めます。サンドボックス、外向き通信の原則拒否、秘密情報の分離、MCPの許可リスト、書き込み操作の承認、実行時間、ツール呼び出し回数、API費用の上限を入れます。特に、広い読み取り、ネットワーク、強い資格情報を同時に開けないことを優先します。

四週目は、設定を信じるのではなく実際に止まるかを試します。悪意あるメールやWebページを読ませる。未知のリポジトリを開く。禁止したドメインへの通信を試す。権限外のファイルへ書き込ませる。大量のツール呼び出しが上限で止まるかを見る。資格情報を失効させた後、本当に操作不能になるか確認する。ここでは攻撃を成功させることが目的ではなく、自分たちが置いた境界が期待どおり機能するかを確かめます。
設定画面で「有効」と表示されていることより、危険操作が実際に拒否されることを完成条件にする。この習慣があれば、モデルや製品が更新されても、実効設定の変化を検知しやすくなります。
企業でここまで落とし込むと、AI研修だけでは完結しません。業務の棚卸し、権限設計、エージェント開発、評価、監視、改善運用まで一続きになります。自社業務への具体化や実装まで進める場合の支援内容は、こちらにまとめています。
もちろん、医療、金融、法務、個人情報、輸出管理などでは、ここに業界固有の法令、契約、監督要件が加わります。この30日プランは一般的な安全境界を作るための初期設計であり、個別規制への適合を保証するものではありません。
信用しなくても仕事を任せられる仕組みへ
生成AIのセキュリティが難しくなった理由は、AIが賢くなったことだけではありません。AIが現実のシステムへ触れる手段が増え、モデルの出力がそのまま操作へ変換される場面が増えたことの方が、実務では大きな変化です。
そのため、「OpenAIとMicrosoftとGoogleとAnthropicのどこが一番安全か」という比較だけでは足りません。大手各社の安全機能には意味がありますし、法人向け管理機能を使う価値も大きい。それでも、同じ製品の中で、個人版と企業版、チャットとコーディングエージェント、読み取りだけの接続と書き込み可能な接続では、事故の形が変わります。
見るべき境界は一つではありません。誰として動くか。何を読めるか。何を書けるか。どのツールを使えるか。重要な値はどこから来たか。どの実行環境にいるか。どこへ通信できるか。どの秘密情報を持つか。MCPやSkillを誰が供給するか。どこで実行を止めるか。何を記録し、失敗時にどこまで戻せるか。これらを一つのシステムとして設計します。
私の結論は、AIを信用してから権限を渡すのではなく、AIが騙されても間違えても重大事故へ届かない権限構造を先に作ることです。

モデルの安全性はこれからも改善するでしょう。プロンプトインジェクションへの耐性も上がるはずです。ただ、最小権限、隔離、認証情報の分離、外向き通信の制御、供給網の検証、実行上限、監査、復旧といった原則は、モデルが変わっても残ります。
強いAIを安全のために弱くする必要はありません。低リスクな範囲では速く自由に動かし、損失の大きい境界だけを機械的に狭める。AIをどこまで信用できるかを毎回判断するより、信用しなくても安全に仕事を任せられる領域を増やす。 私は、その設計の方がAIエージェント時代の実務に合っていると考えています。
出典・参考資料
OpenAI, Running Codex safely at OpenAI, 2026-05-08
https://openai.com/index/running-codex-safely/Anthropic, How we contain Claude across products, 2026-05-25
https://www.anthropic.com/engineering/how-we-contain-claudeMicrosoft, Microsoft Copilot prompt defense in depth, 2026-08-18更新
https://learn.microsoft.com/en-us/microsoft-365/copilot/copilot-prompt-defense-in-depthMicrosoft Defender for Office 365, Prompt injection protection in Microsoft Defender for Office 365, 2026-08-06更新
https://learn.microsoft.com/en-us/defender-office-365/step-by-step-guides/prompt-injection-protection-defender-for-office-365Google Workspace, Indirect prompt injections and Google's layered defense strategy for Gemini, 2026年8月確認
https://knowledge.workspace.google.com/admin/security/indirect-prompt-injections-and-googles-layered-defense-strategy-for-geminiGoogle Gemini CLI, Trusted Folders, 2026-08-27確認
https://geminicli.com/docs/cli/trusted-folders/NIST NCCoE, Accelerating the Adoption of Software and Artificial Intelligence Agent Identity and Authorization, 2026-02-05
https://csrc.nist.gov/pubs/other/2026/02/05/accelerating-the-adoption-of-software-and-ai-agent/ipdOWASP, Top 10 for Agentic Applications for 2026
https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/MITRE ATLAS
https://atlas.mitre.org/LivePI, More Realistic Benchmarking of Agents Against Indirect Prompt Injection, 2026
https://arxiv.org/abs/2605.17986Agent Data Injection Attacks are Realistic Threats to AI Agents, 2026
https://arxiv.org/abs/2607.05120Setup Complete, Now You Are Compromised, 2026
https://arxiv.org/abs/2607.15143Invisible Ink Threats, 2026
https://arxiv.org/abs/2608.02018USENIX Security 2026, Do Not Mention This to the User Detecting and Understanding Malicious Agent Skills in the Wild
https://www.usenix.org/conference/usenixsecurity26/presentation/liu-yiEchoLeak, CVE-2025-32711
https://arxiv.org/abs/2509.10540BeyondTrust Phantom Labs, OpenAI Codex Command Injection Vulnerability, 2026-03-30
https://www.beyondtrust.com/blog/entry/openai-codex-command-injection-vulnerability-github-tokenCheck Point Research, Claude Code Project File Vulnerabilities, 2026-02-25
https://research.checkpoint.com/2026/rce-and-api-token-exfiltration-through-claude-code-project-files-cve-2025-59536/Varonis Threat Labs, SearchLeak, 2026-06-15
https://www.varonis.com/blog/searchleakMicrosoft Security, When prompts become shells, 2026-05-07
https://www.microsoft.com/en-us/security/blog/2026/05/07/prompts-become-shells-rce-vulnerabilities-ai-agent-frameworks/Microsoft Security, AutoJack, 2026-06-18
https://www.microsoft.com/en-us/security/blog/2026/06/18/autojack-single-page-rce-host-running-ai-agent/