MLA-C02：AWS Certified Machine Learning Engineer - Associate ML・AI ソリューションの運用・監視・セキュリティ 問2
ML・AI ソリューションの運用・監視・セキュリティ／モデル推論と性能の監視新しいモデルを本番に全面切り替えする前に、少量の実トラフィックで既存モデルと性能を比較評価したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI ソリューションの運用・監視・セキュリティ」に対応。実際の試験問題ではありません）
- A新モデルをいきなり 100% のトラフィックに適用して様子を見る
- B本番では比較せず、オフラインの指標だけで切り替えを判断する
- C切り替えは勘で行い、問題が出たら戻す
- DAmazon SageMaker AI の本番バリアント（production variants）を使い、トラフィックを分割した A/B テストやシャドーテストで新旧を比較する
正解：D
解説
Amazon SageMaker AI の本番バリアント（production variants）を使うと、1 つのエンドポイントに複数モデルを配置してトラフィックを分割し、A/B テストやシャドーテストで新旧モデルの性能を本番で比較できます。いきなり 100% 切り替えや勘での切り替えはリスクが高く、オフライン指標だけでは本番性能を確認できません。
選択肢ごとの解説
- A誤り。いきなり 100% 切り替えは、問題があった際の影響が大きくリスキーです。
- B誤り。オフライン指標だけでは本番環境での挙動・性能を確認できません。
- C誤り。勘での切り替えは再現性も安全性もありません。
- D正しい。本番バリアントでトラフィックを分割し、A/B・シャドーテストで安全に比較できます。