MLA-C02：AWS Certified Machine Learning Engineer - Associate ML・AI ワークフローのデプロイとオーケストレーション 問2
ML・AI ワークフローのデプロイとオーケストレーション／デプロイインフラの管理推論リクエストが散発的（トラフィックが断続的で、無い時間帯も長い）で、アイドル時のコストを抑えつつ、必要なときだけ推論できるようにしたいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（MLA-C02：AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI ワークフローのデプロイとオーケストレーション」に対応。実際の試験問題ではありません）
- A大きな GPU インスタンスのエンドポイントを常時起動しておく
- BAmazon SageMaker AI の Serverless Inference を使い、リクエストに応じて自動でスケールし、アイドル時のコストを抑える
- C常時起動の EC2 に自前でモデルを載せて待機させる
- Dリクエストのたびにクラスターを手動で起動する
正解：B
解説
散発的なトラフィックでアイドル時のコストを抑えたい場合は、Amazon SageMaker AI の Serverless Inference が適します。リクエストに応じて自動でスケールし、アイドル時のコストを抑えられます。大きな GPU の常時起動や EC2 待機は、アイドル時も課金され非効率です。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。大きな GPU の常時起動は、リクエストが無い時間帯も課金され非効率です。
- B正しい。Serverless Inference は、リクエストに応じてスケールしアイドル時のコストを抑えられます。
- C誤り。常時起動 EC2 での待機も、アイドル時のコストがかかります。
- D誤り。リクエストのたびの手動クラスター起動は遅延が大きく運用になりません。