AI-103：Developing AI Apps and Agents on Azure 生成 AI とエージェント ソリューションの実装 問7
生成 AI とエージェント ソリューションの実装／生成AIシステムの最適化と運用化稼働中のエージェントが、ある種の質問で想定と異なるツールを呼び出して誤った回答を返しています。再現はできますが、どの段階で何が起きたかが分かりません。原因を調べるために有効な手段はどれですか。
当サイトのオリジナル問題（AI-103：Developing AI Apps and Agents on Azureの出題範囲「生成 AI とエージェント ソリューションの実装」に対応。実際の試験問題ではありません）
- Aモデル デプロイの1日あたりのトークン使用量グラフを確認し、増加した日の傾向を調べる
- Bエージェントの指示を全面的に書き換えて再デプロイし、症状が出るか様子を見る
- Cトレースを有効にして、実行ごとのモデル呼び出しとツール呼び出しの入出力・所要時間を時系列で確認する
- D安全性評価を実行して、有害コンテンツの検出率が基準を満たしているかを確認する
正解：C
解説
エージェントの挙動分析には、OpenTelemetry に基づくトレースを有効にし、モデル呼び出し、ツール選択、ツールの入出力、所要時間を実行単位で追う可観測性が有効です。どのステップで誤ったツールが選ばれたかを特定でき、指示やツール定義の改善点が見えます。トークン使用量の集計だけでは、個々の実行内の判断は分かりません。
選択肢ごとの解説
- A誤り。使用量グラフは全体の傾向であり、個々の実行でどのツールがなぜ選ばれたかは分かりません。
- B誤り。原因が分からないまま書き換えると、改善か悪化かの切り分けができず、他の質問へ影響するおそれもあります。
- C正しい。実行の各ステップを時系列で確認でき、誤ったツール選択の箇所と入力を特定できます。
- D誤り。安全性評価は有害コンテンツの観点であり、ツール選択の誤りの原因分析にはなりません。