MLA-C02：AWS Certified Machine Learning Engineer - Associate ML モデルと基盤モデルの開発 問6
ML モデルと基盤モデルの開発／ML・AI システムの性能の分析と評価生成 AI の出力品質（正確さ・有害性・一貫性など）を、人手だけに頼らず大規模かつ一貫して評価したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML モデルと基盤モデルの開発」に対応。実際の試験問題ではありません）
- A評価は行わず、ユーザーからの苦情が来たときだけ対応する
- B分類の正解率（accuracy）だけで生成品質を測る
- C回帰指標の RMSE だけで生成品質を測る
- DLLM-as-a-judge（別の LLM による採点）や Amazon Bedrock のモデル評価を用い、必要に応じて人間による評価（human-in-the-loop）を組み合わせる
正解：D
解説
生成 AI の出力品質を大規模かつ一貫して評価するには、LLM-as-a-judge（別の LLM による自動採点）や Amazon Bedrock のモデル評価を用い、必要に応じて human-in-the-loop の人間評価を組み合わせます。ただし「一貫して評価できる」ことは品質を無条件に保証するものではありません。評価の妥当性を保つには、採点基準（ルーブリック）を明確にし、代表的な評価用データを用意し、審査役（judge）の判定が人間の判定とどの程度一致するかを確認し、judge 自身の偏り（位置バイアスや自己優遇など）やモデル版の変更による評価のぶれを管理する必要があります。無評価や、accuracy・RMSE だけでは、生成品質の多面的な評価になりません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。苦情が来てからの対応では、品質を能動的に評価・改善できません。
- B誤り。分類の正解率だけでは生成品質の多面性を測れません。
- C誤り。RMSE は回帰指標で、生成品質の評価には不適切です。
- D正しい。LLM-as-a-judge や Bedrock のモデル評価に人間評価を組み合わせれば、大規模かつ一貫した評価ができます。ただしルーブリックの明確化、評価用データの整備、人間の判定との一致度の確認、judge の偏りやモデル版の管理といった運用を伴って初めて、評価の妥当性が保てます。