AIF-C01：AWS Certified AI Practitioner 基盤モデルの応用 問19
基盤モデルの応用／基盤モデルの性能評価要約や翻訳などの生成タスクの品質を、大量に・一貫して・自動で評価したい（人手評価は補助的に使う）。最も適したアプローチはどれか。
当サイトのオリジナル問題（AIF-C01：AWS Certified AI Practitionerの出題範囲「基盤モデルの応用」に対応。実際の試験問題ではありません）
- Aすべての出力を毎回人手だけで評価する
- B評価せずに本番公開する
- C推論レイテンシーだけを見て品質を判断する
- D自動評価指標（ROUGE・BLEU など）や Amazon Bedrock の評価機能で大規模に評価する
正解：D
解説
要約・翻訳などの生成品質を大量かつ一貫して評価するには、ROUGE・BLEU などの自動評価指標や Amazon Bedrock の評価機能（必要に応じて LLM-as-a-judge）を用い、人手評価は補助的に併用します。全件人手のみはスケールせず、評価なしの公開やレイテンシーだけの判断は、品質評価になりません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。人手のみは大量・一貫評価にスケールしません（人手は補助的に併用）。
- B誤り。評価なしの公開は品質を担保できません。
- C誤り。レイテンシーは応答速度で、出力品質の評価ではありません。
- D正しい。大規模・一貫した自動評価には自動指標やBedrock評価が適します。