メインコンテンツへスキップ
見出し画像

「AIが勝手にやらかす」を防ぐ — 禁止事項・品質基準・段階的開示の設計

    「AIが勝手にやらかす」を防ぐ — 禁止事項・品質基準・段階的開示の設計

    AIに仕事を任せていて、「え、なんでそれやった?」と思ったことは何度あるだろう。

    制御できていないAIは、正確には「高速で暴走する補助ツール」だ。いくら有能でも、境界線がなければ事故を起こす。

    この記事では、AIが「やっていいこと」と「やってはいけないこと」の境界線をどう設計するか、僕が実際に使っているガードレール設計の全体像を公開する。


    この記事で分かること

    • AIが「やらかす」5つの具体的なパターン
    • ガードレール設計の3原則(失敗から学んだ本質)
    • 禁止事項の書き方テンプレート(有料)
    • Progressive Disclosure(段階的開示)の設計手順(有料)
    • 品質基準の設定方法と、publish-reviewの仕組み(有料)

    AIが「やらかす」5つのパターン

    AIの「やらかし」には、ほぼ共通したパターンがある。

    僕が過去に経験したものと、AIを業務で使っている周囲の人が「これ困った」と言っていたものをまとめると5類型に絞られる。

    パターン1: 削除してはいけないものを削除する

    「ファイルを整理して」と言うだけで、Front Matter(ファイルの管理情報)を消した。

    Obsidianでは、ファイルの先頭にあるYAML形式の管理データがFront Matterだ。タグ、作成日、ステータス。これが消えると、数十本のノートの分類が一瞬で崩壊する。

    実際に起きた話だ。「ファイルをきれいにして」という曖昧な指示を受けたAIが、Front Matterを「整理」の一部とみなして書き換えた。バックアップがあったから復旧できた。気づくのが1日遅れていたら消えていた。

    パターン2: タグを付けすぎる

    Obsidianでのタグ管理に8個の上限ルールを設けている。ところが、明示しなければAIは「関係ありそうなタグ」を15個でも20個でも付ける。

    多すぎるタグはノイズだ。分類の意味がなくなる。

    「AIにタグ付けを頼んだら、1ファイルに23個のタグが付いた」という話を複数人から聞いた。検索が機能しなくなる。

    パターン3: コンテキストを詰め込みすぎる

    MCPツール(AIに機能を追加するプラグイン群)を4つ同時に有効化したことがある。結果、コンテキストウィンドウ(AIが一度に処理できる情報量)が200,000トークンから70,000トークンに実効的に縮小した。

    ツールの説明文がコンテキストを食い潰す。「多機能にしたら賢くなる」と思って失敗した典型例だ。現在は使うツールを3つに絞り、必要な時だけ追加する運用に変えている。

    パターン4: 参照すべきでないファイルを読む

    「プロジェクトのサマリーを作って」という指示に対して、AIが関連しそうなファイルを手当たり次第に読み始めることがある。

    クライアントの個人情報が入ったファイル、過去の失敗事例、まだ確定していない草案。読む必要のないものを読んで、それを基に文章を生成する。

    情報管理の観点で、これは深刻なリスクだ。

    パターン5: 「いい感じに」の解釈がずれる

    一番厄介なのがこれだ。「いい感じに整えて」「適切に処理して」という曖昧な指示を受けたAIは、自分なりの「いい感じ」で動く。

    人間の場合、「いい感じ」は文脈から推察できる。でもAIは文脈からの推察ではなく、学習データに多かったパターンから「いい感じ」を決める。人間の文脈と学習データの傾向がズレたとき、事故が起きる。


    ガードレール設計の3原則

    5つのパターンを見ると、共通の構造が見えてくる。

    事故の原因は、AIの能力ではなく、設計の不備だ。境界線がなければ、AIはその能力を使って「やらかす」。

    僕が設計の実践から導き出した3原則を紹介する。

    原則1: 「絶対禁止」を先に書く

    「やっていいこと」より「やってはいけないこと」を先に定義する。

    なぜか。AIは許可されていないことでも、指示から合理的に推論できると判断したら実行する。禁止が明示されていないと、「問題ない」と解釈する。

    「Front Matterを削除するな」「タグは8個以内」「クライアントデータフォルダは読むな」。こういう制約を最初に書く。後から追加するより、最初に設定した方が機能する。

    原則2: 粒度を「行動レベル」まで落とす

    「慎重に作業すること」という指示は機能しない。

    「慎重」の定義がない。どの行動が慎重で、何が不慎重かをAIは判断できない。

    「バックアップなしの大規模変更は行わない」「5ファイル以上の一括変更は事前に確認を取る」。こういう具体性が必要だ。抽象的な原則ではなく、測定可能な行動基準を書く。

    原則3: 情報へのアクセスを「必要な時・必要な分だけ」に絞る

    これがProgressive Disclosure(段階的開示)の考え方だ。

    AIに全ての情報を最初から渡さない。作業内容に応じて、必要なファイルだけを参照させる設計にする。

    セッション開始時にダッシュボード1ファイルだけ読む。タグ付けが必要になったら初めてタグ辞書を読む。全部を最初に渡すと、AIはその情報を「使えるもの」と解釈して動く。


    ここまでが無料公開の範囲だ。

    「原則は分かった。でも、実際にどう書くのか」が知りたい人は続きを読んでほしい。


    この先でわかること

    • 禁止事項の書き方テンプレート(コピペで使える実例付き)
    • Progressive Disclosure設計の実装手順(段階的にAIへ権限を渡す方法)
    • 品質基準の設定方法(数値で定義する具体的な閾値)
    • publish-reviewの仕組み(自動品質チェックの全設計)
    • よくある質問への回答(運用で実際に起きた問題と対策)

     
     
    コンサルタント×Claude Codeで、仕事の「考える」を仕組み化する人。AIに調査・分析・レポートを全部やらせる11エージェントパイプラインを構築。実務で使い倒してるノウハウを毎週noteで公開中。有料記事を購入いただいた方には、記事内容に関する質問を受け付けています。

    あなたへのおすすめ