DEA-C01:AWS Certified Data Engineer - Associate データの取り込みと変換 問9
データの取り込みと変換/データの取り込み(ストリーミングとバッチ)ストリーミングで届くイベントデータを、コンシューマーのコードを書かずに、バッファリングしながらほぼリアルタイムで Amazon S3 に配信し、途中で Parquet への形式変換も行いたいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません)
- AAmazon Data Firehose(旧 Amazon Kinesis Data Firehose)で、バッファリング・形式変換を行いながら S3 へ配信する
- BAmazon Kinesis Data Streams を使い、配信先への書き込みコンシューマーをすべて自前で実装する
- CAWS DMS の全ロードでストリーミングイベントを配信する
- DAmazon Athena でストリーミングイベントを S3 へ配信する
正解:A
解説
Amazon Data Firehose(旧 Amazon Kinesis Data Firehose)は、ストリーミングデータを、コンシューマーのコードを書かずにバッファリングしながらほぼリアルタイムで S3・Redshift・OpenSearch 等へ配信できる配信サービスです。配信時に Parquet/ORC への形式変換も行えます。Kinesis Data Streams は配信先への書き込みを自前実装する必要があり、DMS や Athena はこの用途ではありません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A正しい。Data Firehose は、バッファリングと形式変換を行いながらコード不要で S3 へ配信できます。
- B誤り。Kinesis Data Streams は配信コンシューマーを自前実装する必要があり、要件(コードを書かない)に反します。
- C誤り。DMS の全ロードはデータベース移行用で、ストリーミング配信には適しません。
- D誤り。Athena はクエリサービスで、ストリーミングの S3 配信は行いません。