
「AIが勝手にやらかす」を防ぐ — 禁止事項・品質基準・段階的開示の設計
「AIが勝手にやらかす」を防ぐ — 禁止事項・品質基準・段階的開示の設計
AIに仕事を任せていて、「え、なんでそれやった?」と思ったことは何度あるだろう。
制御できていないAIは、正確には「高速で暴走する補助ツール」だ。いくら有能でも、境界線がなければ事故を起こす。
この記事では、AIが「やっていいこと」と「やってはいけないこと」の境界線をどう設計するか、僕が実際に使っているガードレール設計の全体像を公開する。
この記事で分かること
- AIが「やらかす」5つの具体的なパターン
- ガードレール設計の3原則(失敗から学んだ本質)
- 禁止事項の書き方テンプレート(有料)
- Progressive Disclosure(段階的開示)の設計手順(有料)
- 品質基準の設定方法と、publish-reviewの仕組み(有料)
AIが「やらかす」5つのパターン
AIの「やらかし」には、ほぼ共通したパターンがある。
僕が過去に経験したものと、AIを業務で使っている周囲の人が「これ困った」と言っていたものをまとめると5類型に絞られる。
パターン1: 削除してはいけないものを削除する
「ファイルを整理して」と言うだけで、Front Matter(ファイルの管理情報)を消した。
Obsidianでは、ファイルの先頭にあるYAML形式の管理データがFront Matterだ。タグ、作成日、ステータス。これが消えると、数十本のノートの分類が一瞬で崩壊する。
実際に起きた話だ。「ファイルをきれいにして」という曖昧な指示を受けたAIが、Front Matterを「整理」の一部とみなして書き換えた。バックアップがあったから復旧できた。気づくのが1日遅れていたら消えていた。
パターン2: タグを付けすぎる
Obsidianでのタグ管理に8個の上限ルールを設けている。ところが、明示しなければAIは「関係ありそうなタグ」を15個でも20個でも付ける。
多すぎるタグはノイズだ。分類の意味がなくなる。
「AIにタグ付けを頼んだら、1ファイルに23個のタグが付いた」という話を複数人から聞いた。検索が機能しなくなる。
パターン3: コンテキストを詰め込みすぎる
MCPツール(AIに機能を追加するプラグイン群)を4つ同時に有効化したことがある。結果、コンテキストウィンドウ(AIが一度に処理できる情報量)が200,000トークンから70,000トークンに実効的に縮小した。
ツールの説明文がコンテキストを食い潰す。「多機能にしたら賢くなる」と思って失敗した典型例だ。現在は使うツールを3つに絞り、必要な時だけ追加する運用に変えている。
パターン4: 参照すべきでないファイルを読む
「プロジェクトのサマリーを作って」という指示に対して、AIが関連しそうなファイルを手当たり次第に読み始めることがある。
クライアントの個人情報が入ったファイル、過去の失敗事例、まだ確定していない草案。読む必要のないものを読んで、それを基に文章を生成する。
情報管理の観点で、これは深刻なリスクだ。
パターン5: 「いい感じに」の解釈がずれる
一番厄介なのがこれだ。「いい感じに整えて」「適切に処理して」という曖昧な指示を受けたAIは、自分なりの「いい感じ」で動く。
人間の場合、「いい感じ」は文脈から推察できる。でもAIは文脈からの推察ではなく、学習データに多かったパターンから「いい感じ」を決める。人間の文脈と学習データの傾向がズレたとき、事故が起きる。
ガードレール設計の3原則
5つのパターンを見ると、共通の構造が見えてくる。
事故の原因は、AIの能力ではなく、設計の不備だ。境界線がなければ、AIはその能力を使って「やらかす」。
僕が設計の実践から導き出した3原則を紹介する。
原則1: 「絶対禁止」を先に書く
「やっていいこと」より「やってはいけないこと」を先に定義する。
なぜか。AIは許可されていないことでも、指示から合理的に推論できると判断したら実行する。禁止が明示されていないと、「問題ない」と解釈する。
「Front Matterを削除するな」「タグは8個以内」「クライアントデータフォルダは読むな」。こういう制約を最初に書く。後から追加するより、最初に設定した方が機能する。
原則2: 粒度を「行動レベル」まで落とす
「慎重に作業すること」という指示は機能しない。
「慎重」の定義がない。どの行動が慎重で、何が不慎重かをAIは判断できない。
「バックアップなしの大規模変更は行わない」「5ファイル以上の一括変更は事前に確認を取る」。こういう具体性が必要だ。抽象的な原則ではなく、測定可能な行動基準を書く。
原則3: 情報へのアクセスを「必要な時・必要な分だけ」に絞る
これがProgressive Disclosure(段階的開示)の考え方だ。
AIに全ての情報を最初から渡さない。作業内容に応じて、必要なファイルだけを参照させる設計にする。
セッション開始時にダッシュボード1ファイルだけ読む。タグ付けが必要になったら初めてタグ辞書を読む。全部を最初に渡すと、AIはその情報を「使えるもの」と解釈して動く。
ここまでが無料公開の範囲だ。
「原則は分かった。でも、実際にどう書くのか」が知りたい人は続きを読んでほしい。
この先でわかること
- 禁止事項の書き方テンプレート(コピペで使える実例付き)
- Progressive Disclosure設計の実装手順(段階的にAIへ権限を渡す方法)
- 品質基準の設定方法(数値で定義する具体的な閾値)
- publish-reviewの仕組み(自動品質チェックの全設計)
- よくある質問への回答(運用で実際に起きた問題と対策)