メインコンテンツへスキップ
見出し画像

Grok APIに個別モデレーション設定。企業が知るべき3つの制約

    xAIは2026年10月27日、Grok APIに「Custom Moderation Controls」を追加しました。Chat Completions APIとResponses APIへ`guidelines`を渡し、出力時の扱いをカテゴリ別に厳しくできます。

    企業で生成AIを組み込む場合、モデル全体の安全設定だけでは、顧客向けチャット、社内文書、創作支援など用途ごとの差を扱いにくいことがあります。今回の変更は、同じGrok APIでもリクエストごとに追加の出力方針を指定できる点が重要です。ただし、管理画面で一度設定すれば済む機能ではありません。

    変更点は3カテゴリの追加制御

    現在指定できるカテゴリは`nsfw`、`violence`、`profanity`の3つです。動作は`decline`のみで、該当する表現を避けたり、依頼内容によっては回答を断ったりします。

    公式説明では、`nsfw`を指定しても教育・臨床上の質問には回答し、`violence`では歴史やニュースを扱いつつ生々しい描写を避けます。`profanity`は罵倒語を使わず、罵倒語だけを求める依頼や強く攻撃的な依頼を断る設計です。

    指定しなかったカテゴリでは、Grokの既定のモデレーションが続きます。つまり、この機能は既定の安全策を解除するものではなく、用途に応じて追加の制約をかける仕組みです。

    制約1:設定はリクエストごとに必要

    `guidelines`は、それを含むリクエストだけに適用されます。会話の最初に一度送れば以後も有効になるわけではありません。Chat CompletionsやResponses APIで会話全体へ適用するには、毎回同じ配列を送る必要があります。

    xAIのPython SDKでは、`chat.create`で設定すると各`sample`呼び出しに保持されます。それでも、アプリ側で用途と方針を対応づけ、送信漏れをテストする責任は残ります。

    制約2:利用できない構成がある

    公式ドキュメントによると、マルチエージェントモデルやdeferred completionsでは使えません。また、サーバー側ツールもファイル添付もないリクエストで、`stop`を指定した場合や`n`を2以上にした場合も利用できません。

    非対応の組み合わせは、モデル実行前にHTTP 400で拒否されます。未知のカテゴリや動作は422、同じカテゴリの重複や`type`の誤りは400です。導入時は、通常応答だけでなくエラー時の代替処理まで決める必要があります。

    制約3:安全性を一つの設定へ委ねられない

    この機能が制御するのはモデルの出力です。入力データの機密区分、個人情報の削除、利用者の年齢確認、ログ保存、違反時の有人対応を代替しません。

    また、カテゴリの説明は高水準で、xAIは詳細を今後調整する可能性があるとしています。同じテスト文でも将来のモデルや運用変更で挙動が変わり得るため、公開前の一度きりの確認では足りません。

    導入時は用途別ポリシー表を作る

    最初に、API呼び出しの用途ごとに次の4項目を整理します。

    1. 適用する3カテゴリ

    2. `guidelines`を付与するコード経路

    3. 400・422発生時の代替動作

    4. 定期的に再実行するテスト文

    顧客向けFAQでは3カテゴリすべて、社内の文章校正では`profanity`、医療・教育用途では正当な質問まで止めないかを重点確認する、といった形です。これは設定例であり、実際の基準は自社の利用規約とリスク判断に合わせてください。

    今日できること

    Grok APIを利用中なら、まず呼び出し箇所を棚卸しし、`guidelines`を付ける用途と付けない用途を一覧化します。次に、対象カテゴリごとに正常系と境界事例を用意し、応答内容とHTTPエラーを記録します。

    導入判断では「モデレーション機能があるか」だけでなく、毎回確実に適用できるか、非対応構成を避けられるか、変更後も再テストできるかを確認してください。

    収益化の見方

    この機能自体が売上を増やすという公式根拠はありません。評価するなら、不適切な出力の修正件数、APIエラー件数、有人確認にかかった時間、方針の適用漏れを用途別に記録します。導入前後で同じテスト文を使い、品質と運用負荷の両方が改善した場合に継続を判断します。

    関連記事

    出典


    あなたへのおすすめ