AI-103：Developing AI Apps and Agents on Azure Azure AI ソリューションの計画と管理 問6
Azure AI ソリューションの計画と管理／AI システムの管理・監視・セキュリティある小売企業の本番の生成AIアプリは、社内ナレッジを検索して回答する構成です。リリース前の評価では良好でしたが、ナレッジの更新や利用者の質問傾向の変化により、運用中に回答が根拠からずれていく懸念があります。運用中の品質低下を早期に検知するための構成として適切なものはどれですか。
当サイトのオリジナル問題（AI-103：Developing AI Apps and Agents on Azureの出題範囲「Azure AI ソリューションの計画と管理」に対応。実際の試験問題ではありません）
- AAzure Monitor でコンテナーアプリの CPU 使用率とメモリ使用率のしきい値アラートを設定し、超過時に調査する
- Bアプリのトレースを Application Insights に収集し、本番トラフィックから抽出した一部に対して接地性や関連性などのエバリュエーターを継続的に実行して結果を監視する
- Cリリース前に実施したバッチ評価を四半期ごとに同じ評価データで再実行し、結果の変化がないことを確認する
- Dモデルのデプロイで、コンテンツフィルターの重大度のしきい値を厳しくして、不適切な回答を出力前に遮断する
正解：B
解説
運用中の品質低下（ドリフトや接地品質の悪化）は、本番のトラフィックを対象に継続的に評価して初めて検知できます。アプリのトレースを Application Insights に収集し、本番の要求からサンプリングした一部にエバリュエーターを継続して実行し、結果を監視・アラート化する構成が適しています。リソースの使用率の監視や固定データでの評価、安全フィルターは、それぞれ目的が異なります。
選択肢ごとの解説
- A誤り。CPU やメモリの使用率はアプリの稼働状況の指標であり、回答が根拠からずれるといった品質の低下は検知できません。
- B正しい。本番のトレースとサンプリングした要求への継続的な評価で、接地性などの品質の変化を運用中に把握できます。
- C誤り。固定の評価データでの再実行は、現在の質問傾向やナレッジの更新を反映せず、検知も四半期に1回と遅れます。
- D誤り。コンテンツフィルターは有害な内容を遮断する安全のための仕組みで、回答の正確性や根拠との整合性の低下を検知するものではありません。