AIF-C01:AWS Certified AI Practitioner 生成 AI の基礎 問9
生成 AI の基礎/ビジネス課題への能力と限界自社の新製品が先月発売されました。社員が、汎用の基盤モデルを使った社内チャットボットに新製品の仕様を尋ねたところ、モデルは存在しない仕様を述べるか、「その製品は知らない」と答えました。同じモデルは、数年前から販売している旧製品については正しく答えます。この挙動の原因として最も適切なものはどれですか。
当サイトのオリジナル問題(AIF-C01:AWS Certified AI Practitionerの出題範囲「生成 AI の基礎」に対応。実際の試験問題ではありません)
- Aモデルは事前学習に使われたデータの時点までの情報しか持たないため、それ以降に公開された新製品の情報を知らない
- B出力トークン数の上限(max tokens)が小さく設定されているため、新製品の仕様の途中で回答が打ち切られている
- C温度(temperature)が低く設定されているため、新しい製品名を出力する確率が下がっている
- D入力が長すぎてコンテキストウィンドウの上限を超えたため、新製品に関する部分が処理されなかった
正解:A
解説
基盤モデルの知識は事前学習に使われたデータに由来するため、学習データの収集時点(知識のカットオフ)より後の出来事や製品情報は持っていません。そのため、新しい情報を尋ねると、知らないと答えたり、もっともらしい誤りを生成したりします。対策としては、最新の社内文書を検索してプロンプトに与える検索拡張生成(RAG)や、新しい情報を含むモデルの利用などがあります。旧製品について正しく答えられる点も、この原因と整合します。
選択肢ごとの解説
- A正しい。学習データの時点以降の情報は持たないため、新製品について知らない、または誤って答えるという挙動と整合します。
- B誤り。出力上限は回答の途中での打ち切りを起こす設定で、新製品についての知識の有無とは関係しません。
- C誤り。温度は出力のばらつきを調整する値で、モデルが持たない情報を知っている状態にするかどうかとは関係しません。
- D誤り。短い質問ではコンテキストウィンドウの上限を超えず、この挙動はトークン上限ではなく知識の範囲の問題です。