MLA-C02：AWS Certified Machine Learning Engineer - Associate ML・AI ソリューションの運用・監視・セキュリティ 問15
ML・AI ソリューションの運用・監視・セキュリティ／インフラのコストと性能の最適化高精度だが大きなモデルの推論コストとレイテンシが課題です。大きな教師モデルの振る舞いを、より小さなモデルに学習させて、品質をできるだけ保ちつつ軽量・低コストに推論したいと考えています。この手法を何と呼びますか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI ソリューションの運用・監視・セキュリティ」に対応。実際の試験問題ではありません）
- Aモデルの蒸留（ディスティレーション）
- Bデータ拡張
- Cワンホットエンコーディング
- Dクロスバリデーション
正解：A
解説
モデルの蒸留（ディスティレーション）は、大きな教師モデルの出力（振る舞い）を小さな生徒モデルに学習させ、品質をできるだけ保ちながら軽量で低コスト・低レイテンシな推論を実現する手法です。データ拡張は学習データ増加、ワンホットは前処理、クロスバリデーションは評価手法で、いずれもモデルの軽量化手法ではありません。
選択肢ごとの解説
- A正しい。蒸留は大きな教師モデルの知識を小さなモデルに移し、軽量・低コストな推論を実現します。
- B誤り。データ拡張は学習データを増やす手法で、モデルを軽量化するものではありません。
- C誤り。ワンホットエンコーディングはカテゴリ変数の前処理で、モデル軽量化とは関係ありません。
- D誤り。クロスバリデーションは汎化性能の評価手法で、推論の軽量化手法ではありません。