MLA-C02：AWS Certified Machine Learning Engineer - Associate ML モデルと基盤モデルの開発 問17
ML モデルと基盤モデルの開発／ML・AI システムの性能の分析と評価不正検知の二値分類モデルで、しきい値を変えると再現率と適合率のトレードオフが変わります。しきい値に依存せず、さまざまなしきい値にわたる分類性能を 1 つの指標で総合的に比較したいと考えています。最も適した評価指標はどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML モデルと基盤モデルの開発」に対応。実際の試験問題ではありません）
- A単一のしきい値での正解率（Accuracy）
- B平均二乗誤差（MSE）
- CROC 曲線の下の面積（ROC-AUC）
- DBLEU スコア
正解：C
解説
ROC-AUC（ROC 曲線の下の面積）は、さまざまなしきい値にわたる真陽性率と偽陽性率の関係をまとめた指標で、特定のしきい値に依存せず分類器の総合的な識別性能を 1 つの値で比較できます。単一しきい値の正解率はしきい値依存かつ不均衡に弱く、MSE は回帰、BLEU は機械翻訳の指標で、この用途には適しません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。単一しきい値の正解率はしきい値に依存し、不均衡データでも誤解を招くため総合比較に向きません。
- B誤り。MSE は回帰（連続値予測）の誤差指標で、分類のしきい値横断の性能比較には使いません。
- C正しい。ROC-AUC はしきい値に依存せず分類の識別性能を総合的に 1 指標で比較できます。
- D誤り。BLEU は機械翻訳の品質評価指標で、二値分類の評価には適しません。