メインコンテンツへスキップ
見出し画像

社内RAGの権限は「引き継いだ」で終わらない――異動・削除・キャッシュまで確かめる6つのテスト

    異動した社員が、元のSharePointファイルを開けなくなった。ところが社内AIに以前と同じ質問をすると、そのファイルの内容を要約して返してくる。

    この状態を防ぐには、RAG製品の機能表に「ACL対応」と書かれているだけでは足りません。元システムの権限が、取り込み、チャンク、検索、回答、引用、キャッシュまで切れずにつながり、異動や削除の後にも所定時間内で変わる必要があります。

    この記事では、社内RAGやCopilot、企業内検索を企画・設計・運用する方に向けて、権限を「設定したか」ではなく「変更後も守れているか」で確かめる方法を整理します。結論は、権限テスト専用の人物・文書セットを作り、6つのシナリオを継続実行することです。

    「ACLを取り込む」は、権限を守るための出発点にすぎない

    RAGのアクセス制御は、概ね次の流れで動きます。

    1. SharePointやGoogle Driveなどから文書とACLを取り込む

    2. 文書をチャンクへ分割し、検索インデックスへ格納する

    3. 質問した利用者のIDとグループを解決する

    4. 検索前または検索時に、読めないチャンクを候補から外す

    5. 許可された根拠だけで回答と引用を生成する

    一見すると、これで十分に見えます。しかし、ACLは取り込み時点のスナップショットです。元文書の権限、利用者の所属、検索インデックス、生成済みの要約やキャッシュは、同時には変わりません。

    MicrosoftのAzure AI Search公式文書は、SharePointのアイテム固有権限の変更はindexer実行で更新できる一方、サイト、ライブラリ、フォルダなど親階層の権限変更は子文書へ自動反映されず、明示的な再同期が必要になる場合があると説明しています。また、文書を分割する場合は各チャンクへACLフィールドを投影する必要があります。2026年10月時点でこの機能はpreviewであり、仕様変更の可能性もあります。

    AWSのAmazon Bedrock Managed Knowledge Baseは、同期済みACLによる事前フィルタに加え、SharePoint、OneDrive、Google Drive、Confluenceでは元システムへリアルタイム照合する二段階方式を採っています。それでも公式文書は、ACL-aware filteringは認可境界そのものではなく、アプリケーション側が利用者を認証し、検証済みのIDを渡す責任を負うと明記しています。

    ここから分かるのは、確認すべき対象が「ACLフィールドの有無」ではないことです。IDの真正性、グループ解決、継承、同期、チャンク、派生物、障害時の動作までを一続きで扱う必要があります。

    設計の判断軸を「権限連続性」に変える

    本稿では、元文書から回答まで許可・拒否の意味が途切れないことを「権限連続性」と呼びます。標準規格の用語ではなく、設計レビューをしやすくするための整理です。

    権限連続性は、次の式で考えると抜けを発見しやすくなります。

    実効アクセス = 利用者ID × 所属グループ × 元文書の実効権限 × 反映時刻 × 派生物の残存状態

    たとえば「文書AはAliceだけ許可」というACLをインデックスへ保存していても、質問時にBobをAliceとして扱えるなら守れません。Bobを正しく識別しても、文書を分割した一部のチャンクにACLがなければ守れません。検索では除外できても、以前の要約が会話履歴やキャッシュへ残れば守れません。

    したがって、製品選定時の質問も変わります。

    • ACLを取り込めるか、ではなく、どの権限変更を何分で反映できるか

    • ユーザー単位に絞れるか、ではなく、直接付与・グループ・入れ子・継承をどう解決するか

    • 検索結果を絞れるか、ではなく、全チャンク・引用・要約・キャッシュへ拒否が伝わるか

    • 障害を検知できるか、ではなく、権限を判定できないときに閉じるか

    最小の「Permission Twin」を作る

    本番データだけで権限テストをすると、期待値が曖昧になり、誤って機密情報を使う危険もあります。そこで、権限の振る舞いだけを再現する専用データセットを用意します。ここでは「Permission Twin」と呼びます。

    最小構成は次の通りです。

    • 直接許可|Aliceだけが読める文書|Aliceは取得でき、Bobは取得できない

    • グループ許可|開発部グループだけが読める文書|所属・脱退が正しく反映される

    • 継承|フォルダ権限を継承する文書|親の変更が子とチャンクへ届く

    • 継承解除|文書だけ独自ACLを持つ|親の許可が誤って混ざらない

    • 削除|後から削除する文書|検索・回答・引用・キャッシュから消える

    • ACL欠落|ACL情報を持たないテスト文書|公開扱いではなく拒否または隔離される

    文書には、通常の業務情報に見えない一意な検証文字列を入れます。たとえば PERM-TWIN-DOC-A-202610 のような値です。これにより、検索結果だけでなく、回答本文、引用、ログ、キャッシュへ断片が残っていないか追跡できます。

    重要なのは、許可される正例だけでなく、拒否される負例を同数以上持つことです。アクセス制御の不具合は「必要な文書が出ない」だけでなく、「出てはいけない文書が出る」ことだからです。

    受入試験に入れる6つの権限テスト

    1. 許可と拒否の基準テスト

    各文書について、読める人物と読めない人物から同じ質問をします。検索結果、回答、引用元の三つを確認してください。

    回答本文にテスト文字列がなくても、引用候補やデバッグ画面に禁止文書が出ていれば不合格です。生成モデルに渡る前の候補集合も検査対象にします。

    2. ID・グループ・継承の解決テスト

    直接付与、通常グループ、入れ子グループ、外部利用者、期限付きアカウント、親フォルダからの継承、文書単位の継承解除を分けて試します。

    「グループに入っているから読めるはず」と人が推測してはいけません。Azureのpreview機能でも、Microsoft EntraグループとSharePointサイトグループの入れ子方向によって対応範囲が異なります。対象製品が解決できる関係を明文化し、非対応パターンは設計で禁止するか別方式へ逃がします。

    3. 失効の鮮度テスト

    次のイベントを起こし、いつから取得できなくなるかを計測します。

    • 利用者を許可グループから外す

    • 文書の直接許可を削除する

    • 文書を制限されたフォルダへ移動する

    • 親フォルダの権限を変更する

    • 利用者を異動・休職・退職状態にする

    • 文書を削除する

    「次回同期で反映」では運用判断ができません。たとえば、通常変更は15分以内、緊急失効は5分以内というように、許容する最大時間をSLOとして決めます。製品のリアルタイム照合があっても、IDプロバイダー、グループキャッシュ、検索キャッシュを含む実測が必要です。

    4. 派生物の残存テスト

    元文書の権限を失効させた後、次を再確認します。

    • 分割チャンクと埋め込み

    • 自動生成した要約やFAQ

    • 検索結果キャッシュ

    • 回答キャッシュ

    • 会話履歴と共有リンク

    • エクスポート済み回答

    • 評価・観測用ログ

    すべてを元文書と同じ方法で制御できるとは限りません。チャット履歴のように、生成時点では正当に閲覧した情報が後から残る領域もあります。元文書と同じACLを持たせるのか、保存期間を短くするのか、失効イベントで削除するのかを、派生物ごとに決めます。

    5. 複数ソースの組合せテスト

    文書Aと文書Bはそれぞれ読めても、組み合わせた回答が新たな機密情報を推論させる場合があります。これはACLだけでは解決できない問題です。

    複数データソースを横断する質問を用意し、回答の分類、表示範囲、引用、再共有を確認します。必要であれば、検索対象を業務目的ごとに分ける、機密ラベルで生成可否を制御する、特定の組合せだけ承認を要求する、といった追加ルールが必要です。

    6. 障害時のfail-closedと監査テスト

    ACLが欠落した文書、IDを解決できない利用者、期限切れコネクタ、同期停止、権限APIのタイムアウトを意図的に作ります。

    安全側の期待値は「公開扱いで返す」ではなく「返さない」です。ただし、単にゼロ件になるだけでは、利用者も運用者も原因を判断できません。次の証跡を残します。

    • 誰が、いつ、どのデータソースへ質問したか

    • どのID・グループとして評価したか

    • どの権限ルールで候補を除外したか

    • ACLの取得・同期時刻

    • リアルタイム照合の成否

    • 失敗時に何件を閉じたか

    AWSの現行文書は、ACL評価パイプラインで障害が起きた場合、影響文書を返さないfail-closedを説明しています。この動作を製品説明として読むだけでなく、自社構成で再現できるかを受入試験へ入れます。

    アクセス連続性マトリクスを証跡にする

    テスト結果は、次の一行一シナリオの表で管理できます。

    • Test Identity|利用者、所属グループ、アカウント状態

    • Source Document|元文書ID、保存場所、機密区分

    • Source Effective Policy|元システム上の実効許可・拒否

    • Expected Retrieval|取得可/不可

    • Expected Answer|回答可否、引用可否、マスキング条件

    • Derived Artifacts|チャンク、要約、キャッシュ、履歴、ログ

    • Permission Event|追加、削除、異動、継承変更、文書移動

    • Revocation SLO|失効が届くまでの最大許容時間

    • Observed Evidence|実測時刻、結果、ログID、差異

    この表の価値は、セキュリティ部門だけのチェックリストにしないことです。設計者は権限の伝播経路を説明でき、開発者は自動テストへ落とせ、運用者は同期遅延と障害を切り分けられます。監査時にも「機能を有効にした」ではなく「この変更シナリオで拒否を確認した」と示せます。

    本番前に決めるべき4つの合格条件

    最後に、設計レビューでは次の四つを合意してください。

    1. 拒否の完全性:許可されない文書・チャンク・引用・派生物が一件も返らない

    2. 失効反映時間:異動、グループ脱退、文書削除が定めたSLO内で全経路へ届く

    3. 障害時の閉じ方:IDやACLを判定できない場合は返さず、原因を運用側で識別できる

    4. 証跡の追跡性:元文書、利用者ID、評価ルール、回答、同期時刻を後から結び直せる

    NISTのゼロトラストも、ネットワーク上の場所だけを理由に暗黙の信頼を置かず、資源へのセッション確立前に認証と認可を行う考え方を示しています。RAGでも同じです。「社内ネットワークだから」「元はSharePointだから」ではなく、質問のたびに、現在の利用者が現在の文書へアクセスできるかを確かめます。

    ACL対応は必要条件です。しかし、本番運用で信頼できるかを決めるのは、権限変更を起こした後の振る舞いです。まずは六つのテスト文書と二人のテスト利用者から、Permission Twinを作ってみてください。小さな検証セットでも、製品比較表では見えない設計上の穴を具体化できます。


    次に読む

    このアカウントでは、大企業で生成AIを本番運用する際の設計、権限、承認、証跡、変更影響を、社内SEやIT企画が実務へ持ち込める判断基準として整理します。同じ課題を継続して追いたい方は、次回の記事もご覧ください。

    参考資料

     
     
    ユーザー企業の立場から、生成AI活用、社内SE、システム企画・設計を考えます。AIエージェントの権限・検証・運用や設計情報の活かし方を、実務で使える判断基準として整理します。

    あなたへのおすすめ