MLA-C02:AWS Certified Machine Learning Engineer - Associate ML・AI のためのデータ準備 問4
ML・AI のためのデータ準備/データ変換・特徴量エンジニアリング・前処理RAG アプリの検索精度を高めるため、長いドキュメントをそのまま埋め込むのではなく、適切な単位に分割して準備したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題(MLA-C02:AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI のためのデータ準備」に対応。実際の試験問題ではありません)
- Aドキュメント全体を 1 つの巨大なチャンクとして埋め込む
- Bドキュメントをランダムな位置で機械的に切り刻む
- C分割はせず、元の PDF をそのままベクトル化する
- D適切なチャンク分割戦略(意味的なまとまりや固定長+オーバーラップ)とメタデータ抽出を適用し、検索に適した単位でドキュメントを準備する
正解:D
解説
RAG では、長いドキュメントを適切なチャンク分割戦略(意味的なまとまり、または固定長+オーバーラップなど)で分け、メタデータを抽出して準備することで、検索の精度と関連性が向上します。全体を 1 チャンク化したり、ランダムに切る、分割しないといった方法は、検索精度を損ないます。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。巨大な 1 チャンクは関連箇所の検索精度を下げます。
- B誤り。ランダムな切断は意味的なまとまりを壊し、精度を損ないます。
- C誤り。分割しないままのベクトル化は、長文で検索精度が落ちます。
- D正しい。適切なチャンク分割戦略とメタデータ抽出で、検索に適した単位にドキュメントを準備できます。