AIF-C01：AWS Certified AI Practitioner 基盤モデルの応用 問10
基盤モデルの応用／効果的なプロンプトエンジニアリング社内規程を参照して回答する生成 AI アプリで、プロンプトに規程の抜粋を付けて質問しています。ところが、抜粋に記載のない質問に対して、モデルがもっともらしい内容を推測で答えてしまいます。モデルの再学習はせず、プロンプトの書き方だけで改善したいと考えています。適切なものはどれか。
当サイトのオリジナル問題（AIF-C01：AWS Certified AI Practitionerの出題範囲「基盤モデルの応用」に対応。実際の試験問題ではありません）
- A規程に記載がなければ、一般的な知識を使って創造的に補って回答するように指示する
- B提供した抜粋だけを根拠に回答し、記載がない場合は「分かりません」と答えるように指示に明記する
- C「あらゆる分野に精通した専門家」という役割をモデルに与え、自信を持って回答させる
- D回答の前に自分の知識をすべて書き出させる思考の連鎖（Chain-of-Thought）を指示する
正解：B
解説
プロンプトで回答の根拠を提供した文脈に限定し、根拠がない場合の振る舞い（分からないと答える）を明示すると、推測による不正確な回答を減らせます。このように、してほしいことに加えて、してはいけないことや出力の条件を明確に書くのが、プロンプトエンジニアリングの基本です。役割付与や知識の列挙は、文脈外の推測をかえって促す場合があります。
選択肢ごとの解説
- A誤り。創造的に補うよう指示すると、記載のない内容の推測を促し、問題を悪化させます。
- B正しい。根拠を抜粋に限定し、記載がない場合の応答を明示することで推測による回答を抑えられます。
- C誤り。専門家という役割は口調や視点を整えますが、根拠のない内容を自信を持って答える方向に働く可能性があります。
- D誤り。モデルの既存知識を書き出させると、抜粋にない情報を回答に混ぜることになり、根拠を限定する目的に反します。