DEA-C01:AWS Certified Data Engineer - Associate データストアの管理 問4
データストアの管理/データカタログシステムの理解日付でパーティション分割して S3 に出力しているデータについて、新しく追加された日付のパーティションが Amazon Athena のクエリ結果に現れません。最も適切な対応はどれですか。
当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データストアの管理」に対応。実際の試験問題ではありません)
- AS3 バケットを作り直してデータを再アップロードする
- BAthena ではパーティションは扱えないため、全データを 1 つのファイルに統合する
- Cテーブルのパーティションを削除して作り直すしかない
- DAWS Glue クローラの再実行、または新規パーティションのカタログへの追加(パーティション射影の利用を含む)で、カタログのパーティション情報を同期する
正解:D
解説
Athena はパーティションを扱えますが、新しいパーティションはカタログに認識させる必要があります。Glue クローラの再実行、ALTER TABLE ADD PARTITION、または Partition Projection(パーティション射影)の利用などで、カタログのパーティション情報を同期すると、新しい日付のデータがクエリ結果に現れます。バケット作り直しや全件統合、パーティション削除は不要・不適切です。
選択肢ごとの解説
- A誤り。バケットの作り直し・再アップロードは不要で、問題の解決になりません。
- B誤り。Athena はパーティションを扱え、全件統合はむしろ性能・コストを悪化させます。
- C誤り。パーティションの削除・再作成は過剰で、根本対応になりません。
- D正しい。クローラ再実行やパーティション追加(射影の利用を含む)で、カタログのパーティションを同期できます。