AI-103：Developing AI Apps and Agents on Azure Azure AI ソリューションの計画と管理 問14
Azure AI ソリューションの計画と管理／AI システムの管理・監視・セキュリティFoundry のモデルを呼び出す本番アプリで、ピーク時に要求が集中し、レート制限（1 分あたりのトークン上限）に達して応答が失敗することがある。安定したスループットを確保したい。最も適切な対処はどれか。
当サイトのオリジナル問題（AI-103：Developing AI Apps and Agents on Azureの出題範囲「Azure AI ソリューションの計画と管理」に対応。実際の試験問題ではありません）
- Aモデルの温度パラメーターを下げる
- B想定ピークに見合うようにデプロイのクォータ（TPM）を引き上げる、またはプロビジョニングされたスループットを割り当てる
- Cシステムメッセージを短くする
- D埋め込みモデルに切り替える
正解：B
解説
レート制限（1 分あたりのトークン数＝TPM などの上限）に達して失敗する場合は、デプロイのクォータを想定ピークに見合うよう引き上げる、またはプロビジョニングされたスループットを割り当てて安定した容量を確保します。温度調整・システムメッセージ短縮・埋め込みモデルへの切替は、スループット確保の対処ではありません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。温度は出力の多様性の調整で、レート制限の解消にはなりません。
- B正しい。レート制限対策はクォータ(TPM)引き上げ/プロビジョンドスループットの確保です。
- C誤り。システムメッセージの短縮はレート制限（TPM超過）の根本対処になりません。
- D誤り。埋め込みモデルへの切り替えは生成の代替にならず、スループット確保の手段でもありません。