AIF-C01：AWS Certified AI Practitioner 基盤モデルの応用 問5
基盤モデルの応用／学習とファインチューニング問い合わせ対応用に、プロンプトと理想の応答のペアを自社で数千件用意できました。基盤モデルを、自社の応答スタイルと形式で安定して回答できるタスク特化のモデルにしたいと考えています。基盤モデルのカスタマイズ手法として適切なものはどれか。
当サイトのオリジナル問題（AIF-C01：AWS Certified AI Practitionerの出題範囲「基盤モデルの応用」に対応。実際の試験問題ではありません）
- Aプロンプトと応答のペアを学習データとして使い、基盤モデルをファインチューニングする
- Bラベルのない大量のテキストを使い、基盤モデルの継続的事前トレーニングを行う
- C基盤モデルの出力を教師データとして、より小さなモデルへ能力を移すモデル蒸留を行う
- D人間のフィードバックによる強化学習（RLHF）で、基盤モデルの報酬モデルを一から構築する
正解：A
解説
ファインチューニングは、入力（プロンプト）と望ましい出力のペアというラベル付きデータで基盤モデルを追加学習し、特定のタスクや応答スタイルに適応させる手法です。Amazon Bedrock ではカスタムモデルとして作成できます。継続的事前トレーニングはラベルなしデータでドメインの知識を広げる手法で、ペアのデータを使う今回の目的とは異なります。
選択肢ごとの解説
- A正しい。ラベル付きのペアデータでタスク特化の応答を学習させる用途に合致します。
- B誤り。継続的事前トレーニングはラベルなしのテキストでドメイン知識を広げる手法で、応答スタイルの習得が主目的ではありません。
- C誤り。モデル蒸留は大型モデルの出力を使って小型モデルを作る手法で、既存モデルの応答スタイルを調整する目的ではありません。
- D誤り。RLHF は人間の好みを反映するための大規模な手法で、数千件のペアデータから応答形式を学ぶ目的には過剰かつ別の手段です。