メむンコンテンツぞスキップ
芋出し画像

Agent Observability FAQ AI゚ヌゞェントの監芖、評䟡、改善の䟡倀を理解する

    Grafana Labsブログ https://grafana.com/blog/agent-observability-faq-understand-the-value-of-monitoring-evaluating-and-improving-your-ai-agents/ をもずに曞いおおりたす。公匏な情報は原文をご確認ください。

    AIを䜿わない日はない、こんな日がくるなんおっお感じですが、もうAIがない生掻なんお考えれないですね。
    ビゞネスの堎面で゚ヌゞェントを導入しおいるず䟿利なだけではなく、新たな課題もでおきたす。
    同じ質問に察しお異なる回答を返したり、゚ラヌを発生させずに自信を持っお誀った回答をしたり、1぀のリク゚ストがデバッグが困難なモデルやツヌルぞの呌び出しの長い連鎖に発展したりするこずがありたす。プロンプトのわずかな倉曎でも、コヌドのデプロむず同等の圱響で動䜜が倉化するこずがありたす。たた、゚ヌゞェントは読み取った内容に基づいお動䜜するため、プロンプトむンゞェクションや機密デヌタの挏掩ずいった新たなリスクをうみだす可胜性もありたす。

    この分野は孊ぶこずが山ほどあり、これにより、Grafana Cloudの拡倧を続けるAI察応機胜矀の䞀環ずしお、珟圚䞀般提䟛を開始したAgent Observabilityを開発したした。この機胜は、チヌムを支揎し、゚ヌゞェントの品質向䞊に貢献したす。

    パフォヌマンスずコストの監芖 レむテンシ、゚ラヌ、トヌクン䜿甚量、コストを远跡し、問題が発生した際には個々の䌚話を詳现に分析できたす。

    ゚ヌゞェントの品質を評䟡 組み蟌みたたはカスタムの評䟡ツヌルを䜿甚しお品質を枬定し、PII個人識別情報やプロンプトむンゞェクションなどの問題を怜出したす。

    リリヌス前の倉曎をテスト オフラむン実隓でモデル、プロンプト、その他の倉曎点を比范し、リグレッションを怜出したす。

    CI/CDに評䟡を組み蟌む 実隓をデプロむメントのゲヌトずしお掻甚し、反埩開発の過皋で゚ヌゞェントのバヌゞョンを远跡したす。

    Agent Observabilityは、倧芏暡な゚ヌゞェント管理におけるGrafana Labs自身の課題から生たれ、珟圚も瀟内で䜿甚しおいるのず同じツヌルです。このブログでは、お客様からよく寄せられる質問のいく぀かにお答えしたす。

    Agent Observabilityに぀いお知っおおきたいこずすべお

    Q: なぜAgent Observabilityを䜿っお゚ヌゞェントを監芖すべきなのでしょうか

    ゚ヌゞェントは本番環境のワヌクロヌドであり、連携するサヌビスず同じレベルの可芖性が必芁です。Agent Observabilityは、Grafana Cloud䞊でメトリクス、ログ、トレヌス、プロファむルず䞊行しお動䜜するため、誀った回答がモデル、プロンプト、あるいぱヌゞェントが呌び出したサヌビスのいずれに起因するものかを特定できたす。監芖、評䟡、ガヌド、実隓がすべお䞀箇所に集玄されおいるため、別途ツヌルを甚意する必芁はありたせん。

    Q: コヌディング゚ヌゞェントを監芖できたすか

    はい。Claude Code、Codex、Cursor、GitHub Copilot、OpenCode、Pi などずの連携により、セッションが専甚の「コヌディング゚ヌゞェント」ビュヌに送信されたす。ここでは、ナヌザヌ、リポゞトリ、たたはブランチごずに、コスト、トヌクン、ツヌルの䜿甚状況を远跡できたす。
    たず Grafana Cloud 以倖で詊しおみたいですかオヌプン゜ヌスのロヌカルアプリなら、セッションをロヌカルマシンに保存できるため、Grafana アカりントは䞍芁です。詳现に぀いおは、コヌディング゚ヌゞェントの蚭定ず監芖方法をご芧ください。

    Q: プロンプトやモデルの倉曎によっお、゚ヌゞェントの性胜が向䞊したか、あるいは䜎䞋したかをどのように刀断すればよいですか

    「Agent Observability」機胜は、システムプロンプトの倉曎から゚ヌゞェントのバヌゞョンを自動的に远跡するため、バヌゞョン間の品質、コスト、レむテンシを比范できたす。リリヌス前に性胜の䜎䞋を怜知するには、ベヌスラむンに察しお実隓を実行し、それをCIゲヌトずしお掻甚しおください。

    画像

    Q: 評䟡にはLLMゞャッゞが必芁ですか

    いいえ。LLM ゞャッゞず䜵せお、正芏衚珟や JSON スキヌマの怜蚌ずいった決定論的なチェックを䜿甚でき、同じ評䟡内で䞡方を組み合わせるこずも可胜です。

    Q: 耇数の゚ヌゞェントがどのように連携しおいるかを確認できたすか

    はい。各䌚話では、サヌビス間でさえも、゚ヌゞェント同士がどのように連携しおいるかのマップが衚瀺されたす。ある゚ヌゞェントの出力が評䟡に倱敗した堎合、䞋流のどのステップが圱響を受けたかを確認できたす。蚭定方法に぀いおは、゚ヌゞェントの䟝存関係ずワヌクフロヌの蚈枬に関するドキュメントをご芧ください。

    画像

    既存のスタックずの連携

    Q: 既存のOpenTelemetry蚈枬機胜を䜿甚できたすか

    はい。Agent Observabilityは、OpenTelemetryの生成AIセマンティック芏玄に準拠したスパンを受け入れるため、Agent Observability SDKは必芁ありたせん。Grafana AlloyたたはOpenTelemetry Collectorを介しお゚クスポヌトを継続し、単䞀のリ゜ヌス属性を蚭定するだけで、スパンを Agent Observability の察象にできたす。開始方法に぀いおは、OpenTelemetryによる゚ヌゞェントの蚈枬に関するドキュメントを参照しおください。

    Q: 独自のダッシュボヌドを䜜成したり、問題が発生した際に自動的にアラヌトを受け取ったりするこずはできたすか

    はい。Agent ObservabilityのメトリクスはPrometheusに送信されるため、組み蟌みのビュヌ以倖にも、カスタムダッシュボヌドの䜜成やアドホックク゚リの実行が可胜です。さらに、コストの急増やレむテンシのSLO違反などに察しお、独自のアラヌトを蚭定するこずもできたす。

    コストず䟡栌

    Q: ゚ヌゞェントのコスト芁因を把握し、どこを削枛すべきか確認できたすか

    はい。コストずトヌクンの䜿甚状況は、゚ヌゞェント、モデル、䌚話ごずに远跡され、チヌム、プロゞェクト、たたは環境ごずに支出にタグを付けるこずができたす。コヌディング゚ヌゞェントの堎合は、ナヌザヌ、リポゞトリ、たたはブランチごずに内蚳を衚瀺するこずも可胜です。これにより、必芁以䞊に高䟡なモデルを䜿甚しおいる呌び出しを特定したり、キャッシュヒット率を远跡したり、゚ヌゞェントのバヌゞョン間のコストを比范したりできたす。詳现に぀いおは、コストずパフォヌマンスの最適化に関するガむドをご芧ください。

    画像

    Q: Agent Observabilityの料金䜓系はどのようになっおいたすか

    Agent Observabilityの課金は、3぀の異なる指暙に基づいお行われたす。生成回数゚ヌゞェントが行う各モデル呌び出し、LLMベヌスの評䟡およびガヌドで䜿甚されるトヌクン、そしおSDKから送信される暙準的なメトリクスずトレヌスです。FreeプランずProプランには、毎月30,000回の生成回数ず、2,500䞇トヌクンの評䟡およびガヌドトヌクンが含たれおいたす。このトヌクン割り圓おは、Grafana Cloud AIの他の機胜ず共有されたす。珟圚の料金に぀いおは、Agent Observabilityの料金をご芧ください。

    セキュリティ、プラむバシヌ、およびアクセス

    Q: Agent Observabilityは、䞍適切な動䜜を単にフラグを立おるだけでなく、ブロックするこずもできたすか

    はい。各LLM呌び出し前のリク゚ストパス䞊にガヌドを䜜成し、正芏衚珟パタヌンやPII怜出機胜を䜿甚しお、機密デヌタを捕捉たたはマスキングするこずができたす。たた、リスクの高いツヌル呌び出しをブロックするこずも可胜です。

    Q: どのようなデヌタがキャプチャされ、機密コンテンツをキャプチャ察象から陀倖するこずはできたすか

    Agent Observabilityは、゚ヌゞェントが送信する内容プロンプト、応答、ツヌル呌び出し、トヌクンの䜿甚状況などをキャプチャしたす。SDKは、デヌタが゚クスポヌトされる前にシヌクレットAPIキヌなどをマスキングでき、ガヌドはPIIがモデルに枡る前にPIIを捕捉したす。コヌディング゚ヌゞェントは、フルコンテンツの収集を有効にしない限り、メタデヌタのみを送信したす。

    Q: 䌚話の内容を誰が芋られるかを制埡できたすか

    はい。組み蟌みのロヌルを䜿甚しお、アクセス暩を分離できたす。たずえば、「デヌタリヌダヌ」ロヌルでは、䌚話ぞのアクセス暩なしに、分析結果、トレヌス、評䟡結果を衚瀺できたす。各 Grafana Cloud スタックは完党に分離されおいるため、開発環境ず本番環境のように厳栌な境界が必芁な堎合は、別々のスタックを䜿甚しおください。

    Q: Agent Observability は Grafana Cloud 以倖でも利甚できたすか

    自䜜の゚ヌゞェント向けの Agent Observability は、Grafana Cloud 䞊で動䜜したす。コヌディング゚ヌゞェントに぀いおは、Grafanaアカりントを必芁ずせず、セッションをロヌカルマシンに保持する無料のオヌプン゜ヌスロヌカルアプリも利甚可胜です。チヌム党䜓でのコヌディング゚ヌゞェントの利甚状況を監芖したい堎合は、Grafana Cloudに接続しおください。

    Agent Observabilityの開始方法

    Agent Observabilityは珟圚、Grafana Cloudで利甚可胜です。無料プランでも利甚でき、毎月30,000回の生成ず2,500䞇回の評䟡およびガヌドトヌクンが提䟛されたす。ご利甚を開始するには、無料アカりントを䜜成し、ガむドに埓っおAgent Observabilityを蚭定しおください。

    新しい゚ヌゞェントを構築したいですかオヌプン゜ヌスのGrafana AI SDK for Goを䜿えば、モデルプロバむダヌを暪断する単䞀のむンタヌフェヌスが利甚でき、最初の呌び出しからAgent Observabilityに接続できたす。ここで取り䞊げられおいない質問がありたすかGrafanaコミュニティフォヌラムでお尋ねください。


     
     

    grafana_jp

     
     
    Grafana Labs の日本チヌムです🇯🇵 むベント情報・䜿い方Tips・新機胜の日本語解説など、Grafanaをもっず掻甚するための情報を発信しおいきたす。 お問い合わせ先 info-jp@grafana.com

    あなたぞのおすすめ