MLA-C02：AWS Certified Machine Learning Engineer - Associate ML・AI ソリューションの運用・監視・セキュリティ 問14
ML・AI ソリューションの運用・監視・セキュリティ／モデル推論と性能の監視本番の生成 AI アプリで、回答の品質（正確さ・有害性・一貫性）が時間とともに低下していないかを継続的に確認したいと考えています。運用上の監視アプローチとして最も適切なものはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI ソリューションの運用・監視・セキュリティ」に対応。実際の試験問題ではありません）
- Aリリース時に 1 度だけ品質を確認し、その後は見ない
- Bインフラのコストだけを監視し、品質は監視しない
- Cレイテンシだけを見て品質は推測する
- D出力を定期的にサンプリングし、自動評価（指標・LLM 評価）と人手レビューを組み合わせて継続的に品質を評価する
正解：D
解説
生成 AI の出力品質は入力傾向やモデル更新などで変化しうるため、出力を定期的にサンプリングし、自動評価（評価指標や LLM による評価）と人手レビューを組み合わせて継続的にモニタリングするのが適切です。リリース時だけの確認やコスト・レイテンシのみの監視では、品質の劣化を見逃します。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。リリース時の 1 度きりの確認では、運用中の品質劣化を継続的に捉えられません。
- B誤り。コストだけの監視では、回答品質の低下を検知できません。
- C誤り。レイテンシは応答速度の指標で、回答の正確さや有害性といった品質は測れません。
- D正しい。定期サンプリング＋自動評価＋人手レビューの組み合わせで、品質を継続的に監視できます。