MLA-C02:AWS Certified Machine Learning Engineer - Associate ML・AI のためのデータ準備 問12
ML・AI のためのデータ準備/データ品質の検証とバイアスの管理モデルの汎化性能を正しく見積もり、評価データの情報が学習に漏れ込む(データリーケージ)のを防ぎたい。データの扱いとして最も適切なものはどれか。
当サイトのオリジナル問題(MLA-C02:AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI のためのデータ準備」に対応。実際の試験問題ではありません)
- A全データで前処理の統計量を計算してから分割する
- Bデータを学習用・検証用・テスト用に分割し、前処理の統計量は学習データだけから算出して他に適用する
- Cテストデータも学習に含めて精度を上げる
- D検証を行わず学習データの精度だけで評価する
正解:B
解説
データを学習用・検証用・テスト用に分割し、スケーリングなどの前処理の統計量(平均・分散など)は学習データだけから算出して検証/テストにも適用することで、評価データの情報が学習へ漏れるデータリーケージを防ぎ、汎化性能を正しく見積もれます。分割前の全データ統計量算出やテストデータの学習混入は、リーケージや過大評価を招きます。
選択肢ごとの解説
- A誤り。分割前に全データで統計量を計算すると、テスト情報が学習へ漏れ(リーケージ)ます。
- B正しい。学習/検証/テストに分割し、統計量は学習データから求めてリークを防ぎます。
- C誤り。テストデータを学習に含めると汎化性能を正しく測れません。
- D誤り。学習データの精度だけでは過学習を見抜けません。