MLA-C02:AWS Certified Machine Learning Engineer - Associate ML モデルと基盤モデルの開発 問18
ML モデルと基盤モデルの開発/ML・AI システムの性能の分析と評価与信審査の ML モデルについて、各予測に対して「どの特徴量がどの程度その予測に寄与したか」を把握し、担当者や監査人に説明できるようにしたいと考えています。最も適切なアプローチはどれですか。
当サイトのオリジナル問題(MLA-C02:AWS Certified Machine Learning Engineer - Associateの出題範囲「ML モデルと基盤モデルの開発」に対応。実際の試験問題ではありません)
- Aモデルの正解率だけを報告する
- B学習の損失曲線だけを見る
- C推論のレイテンシを測定する
- D特徴量の寄与度(SHAP 値などの特徴量重要度)を算出し、予測の説明に用いる
正解:D
解説
各予測に対して特徴量の寄与度(SHAP 値などの特徴量重要度)を算出すると、どの特徴量がどの程度その予測に影響したかを定量的に示せ、説明可能性(explainability)を高められます。正解率や損失曲線は全体性能の指標、レイテンシは性能測定で、個々の予測の根拠説明には用いません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。正解率は全体の性能指標で、個々の予測の根拠(どの特徴量が効いたか)を説明できません。
- B誤り。損失曲線は学習の進み具合を見るもので、予測の説明には使いません。
- C誤り。レイテンシは応答速度の測定で、予測根拠の説明とは関係ありません。
- D正しい。特徴量の寄与度(SHAP 等)を算出すると、各予測の根拠を説明でき、説明可能性が高まります。