MLA-C02：AWS Certified Machine Learning Engineer - Associate ML・AI ソリューションの運用・監視・セキュリティ 問4
ML・AI ソリューションの運用・監視・セキュリティ／インフラのコストと性能の最適化基盤モデルを使った生成 AI アプリで、推論コストが想定より膨らんでいます。コストの主因を把握して最適化したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI ソリューションの運用・監視・セキュリティ」に対応。実際の試験問題ではありません）
- Aコストは測定せず、とにかく小さいモデルに変えてしまう
- Bトークン使用量（入力・出力トークン）やベクターストアのコストなどを監視・可視化し、プロンプト最適化・キャッシュ・モデル選択・バッチ化などで最適化する
- C推論のたびに最大のモデルを使えばコストは下がる
- Dコスト最適化はできないものとして放置する
正解：B
解説
生成 AI の推論コストは、トークン使用量（入力・出力）やベクターストアのコストなどが主因になりがちです。これらを監視・可視化したうえで、プロンプト最適化・キャッシュ・適切なモデル選択・バッチ化などで最適化します。測定せずにモデルを変える、最大モデルを使う、放置するのは適切なコスト管理になりません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。測定せずにモデルを変えるのは、根拠のない対処で品質も損ないかねません。
- B正しい。トークン使用量等を監視・可視化し、プロンプト最適化・キャッシュ・モデル選択などで最適化します。
- C誤り。最大モデルの使用はむしろコストを増やします。
- D誤り。放置はコスト増を招き、最適化になりません。