MLA-C02：AWS Certified Machine Learning Engineer - Associate ML モデルと基盤モデルの開発 問5
ML モデルと基盤モデルの開発／ML・AI システムの性能の分析と評価生成された要約文や翻訳文の品質を、自動的な指標で評価したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML モデルと基盤モデルの開発」に対応。実際の試験問題ではありません）
- A回帰の誤差指標である RMSE だけで評価する
- B推論のレイテンシ（応答時間）だけで品質を評価する
- CROUGE（要約）・BLEU（翻訳）・BERTScore などの自然言語生成向けの指標を用いて評価する
- D分類の正解率（accuracy）だけで生成文の品質を評価する
正解：C
解説
生成テキスト（要約・翻訳など）の自動評価には、ROUGE（要約）・BLEU（翻訳）・BERTScore・意味的類似度などの自然言語生成向けの指標を用います。RMSE は回帰、accuracy は分類、レイテンシは性能の指標であり、生成文の品質評価には適しません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。RMSE は回帰の誤差指標で、生成文の品質評価には使いません。
- B誤り。レイテンシは応答速度の指標で、生成内容の品質は測れません。
- C正しい。ROUGE・BLEU・BERTScore などの生成向け指標で、要約・翻訳の品質を評価できます。
- D誤り。分類の正解率は、生成テキストの品質評価には適しません。