DEA-C01：AWS Certified Data Engineer - Associate データの取り込みと変換 問10
データの取り込みと変換／データの変換と処理既存の Apache Spark / Hadoop エコシステム（独自ライブラリや細かなクラスター調整を含む）を活用して、大規模データのバッチ変換処理を行いたいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題（DEA-C01：AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません）
- AAWS Lambda だけで、長時間かかる大規模 Spark バッチ処理を実行する
- BAmazon EMR を使い、Spark / Hadoop エコシステムで大規模分散処理を実行する
- CAmazon Athena のクエリだけで Spark の独自ライブラリ処理を置き換える
- DAmazon QuickSight で大規模バッチ変換を実行する
正解：B
解説
Amazon EMR は、Apache Spark や Hadoop のエコシステムをマネージドなクラスターで実行でき、独自ライブラリの利用や細かなクラスター/チューニングが必要な大規模分散処理に適します。Lambda は最大実行時間（15 分）やリソースの制約があり大規模 Spark バッチには不向き、Athena はクエリ、QuickSight は BI 可視化です。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。Lambda は最大実行時間やリソースの制約があり、大規模 Spark バッチの実行には不向きです。
- B正しい。EMR は Spark / Hadoop エコシステムで大規模分散処理を実行でき、独自ライブラリ活用にも適します。
- C誤り。Athena はクエリサービスで、Spark の独自ライブラリ処理は置き換えられません。
- D誤り。QuickSight は BI 可視化ツールで、大規模バッチ変換は実行しません。