AIF-C01:AWS Certified AI Practitioner 生成 AI の基礎 問8
生成 AI の基礎/生成 AI の基本概念(トークン・埋め込み・基盤モデル・プロンプト)開発チームが、Amazon Bedrock のオンデマンドでテキスト生成モデルを呼び出す社内アプリを運用しています。システムプロンプトに社内ルールの説明を大幅に追加したところ、モデルの回答の長さはほぼ変わらないのに、月額の利用料金が増加しました。この現象を説明するものはどれですか。
当サイトのオリジナル問題(AIF-C01:AWS Certified AI Practitionerの出題範囲「生成 AI の基礎」に対応。実際の試験問題ではありません)
- A課金の対象は生成された出力トークンのみで、入力プロンプトのトークンは課金されないため、出力が増えたと考えられる
- B課金はリクエストの回数だけで決まり、1 回あたりのプロンプトの長さや応答の長さは料金に影響しない
- C課金は呼び出したモデルのパラメーター数に応じて決まり、プロンプトを変更したことでモデルが切り替わった
- Dオンデマンドのテキスト生成では入力トークンと出力トークンの数に応じて課金されるため、プロンプトが長くなった分、入力トークンの料金が増えた
正解:D
解説
Amazon Bedrock のオンデマンド利用では、テキスト生成モデルは処理した入力トークン数と出力トークン数に応じて課金されます(モデルごとに入力・出力の単価が異なります)。システムプロンプトも入力トークンに含まれるため、長くすると、リクエストのたびに入力トークンの料金が増えます。コストを抑えるには、プロンプトの簡潔化や不要なコンテキストの削減を検討します。なお、料金体系にはプロビジョンドスループットなど別の方式もあります。
選択肢ごとの解説
- A誤り。入力トークンも課金対象です。出力トークンだけの課金ではないため、この説明は成り立ちません。
- B誤り。リクエスト回数だけでなく、トークン数が料金に影響します。長いプロンプトは料金を増やします。
- C誤り。料金は呼び出したモデルの単価とトークン数で決まり、プロンプトの変更だけでモデルが切り替わることはありません。
- D正しい。入力トークンと出力トークンの合計に応じて課金されるため、システムプロンプトの増加が入力トークン料金の増加につながります。