DEA-C01：AWS Certified Data Engineer - Associate データの取り込みと変換 問4
データの取り込みと変換／データの変換と処理大量の CSV ファイルに対する分析クエリが、スキャン量が多くコストと時間がかかっています。クエリのコストと性能を改善するためのデータ形式として最も適切なのはどれですか。
当サイトのオリジナル問題（DEA-C01：AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません）
- Aそのまま CSV を使い続ける
- B行指向の JSON に変換する
- Cプレーンテキストに変換する
- D列指向で圧縮される Apache Parquet（または ORC）に変換し、必要な列だけをスキャンできるようにする
正解：D
解説
Apache Parquet や ORC は列指向で圧縮されるフォーマットです。分析クエリで必要な列だけをスキャンでき、データ量が圧縮されるため、Athena や Redshift Spectrum などでのスキャン量・コスト・実行時間を大きく削減できます。CSV や JSON（行指向）、プレーンテキストでは、この最適化は得られません。
選択肢ごとの解説
- A誤り。CSV のままではスキャン量が多く、コストと性能は改善しません。
- B誤り。JSON は行指向で、必要な列だけをスキャンする最適化は得られません。
- C誤り。プレーンテキストも列指向の利点がなく、改善になりません。
- D正しい。列指向で圧縮される Parquet（または ORC）に変換すると、必要な列だけをスキャンでき、コストと性能が改善します。