MLA-C02：AWS Certified Machine Learning Engineer - Associate ML モデルと基盤モデルの開発 問11
ML モデルと基盤モデルの開発／ML・AI システムの性能の分析と評価陽性クラスが全体の2%しかない不均衡な二値分類で、モデルの良し悪しを評価したい。評価指標として最も適切なものはどれか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML モデルと基盤モデルの開発」に対応。実際の試験問題ではありません）
- A正解率（Accuracy）だけで評価する
- BRMSE（二乗平均平方根誤差）で評価する
- C適合率・再現率・F1 スコア（および PR-AUC）で少数クラスの検出性能を評価する
- DROUGE スコアで評価する
正解：C
解説
強い不均衡のある分類では、正解率（Accuracy）は多数クラスに引きずられて実力を反映しないため、適合率・再現率・F1 スコアや PR-AUC で少数クラスの検出性能を評価します。RMSE は回帰、ROUGE は文章生成の指標であり、不均衡二値分類の評価には適しません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。不均衡データでは全部を陰性と予測しても高いAccuracyが出てしまい、適切に測れません。
- B誤り。RMSEは回帰の指標で、二値分類には使いません。
- C正しい。不均衡データでは適合率/再現率/F1/PR-AUCが適切です。
- D誤り。ROUGEは文章要約/生成の指標で、二値分類には使いません。