AIF-C01:AWS Certified AI Practitioner 生成 AI の基礎 問3
生成 AI の基礎/ビジネス課題への能力と限界経理部が、生成 AI に社内の経費規程について従業員の質問へ回答させたいと考えています。基盤モデルは自社の規程を学習しておらず、もっともらしい誤った条文を事実のように答えるリスク(ハルシネーション)が懸念されています。対処として適切なものはどれですか。
当サイトのオリジナル問題(AIF-C01:AWS Certified AI Practitionerの出題範囲「生成 AI の基礎」に対応。実際の試験問題ではありません)
- A温度(temperature)を上げて、多様な回答を生成させる
- Bより大規模なモデルに切り替えれば、誤情報は生成されなくなるとみなして運用する
- C回答の根拠となる規程の該当箇所を取得してプロンプトに与え、出典を併記して提示し、重要な判断は担当者が確認する運用にする
- D同じ質問を複数回送り、回答が一致した場合は事実として扱う
正解:C
解説
生成 AI は確率的に次のトークンを生成するため、学習していない情報について、もっともらしい誤りを出力することがあります。回答の根拠となる自社文書をプロンプトに含める検索拡張生成(RAG)で根拠づけし、出典を示し、重要な判断に人の確認を入れることで、リスクを下げられます。ただしハルシネーションを完全にはなくせないため、運用上の確認は残します。
選択肢ごとの解説
- A誤り。温度を上げると出力のばらつきが大きくなり、誤情報の可能性はむしろ高まります。
- B誤り。大規模なモデルでも、学習していない自社規程についての誤情報は生成されます。ハルシネーションが完全になくなることはありません。
- C正しい。根拠文書による根拠づけ、出典の提示、人による確認の組み合わせで、誤情報のリスクを現実的に下げられます。
- D誤り。一致した回答でも誤りであり得ます。一貫して同じ誤りを出すことがあり、正しさの保証になりません。