過去問ドリル

DEA-C01:AWS Certified Data Engineer - Associate データの取り込みと変換 問15

データの取り込みと変換/データの変換と処理

AWS Glue の ETL ジョブで、S3 に継続的に追加されるデータを定期的に処理する。毎回すでに処理済みのデータを再処理せず、新規分だけを増分で処理したい。最も適した機能はどれか。

当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません)

正解:C

解説

AWS Glue のジョブブックマークは、ジョブが処理済みのデータ(S3 オブジェクトやテーブルの位置)を記録しておき、次回実行時に新規分だけを増分処理できる機能です。毎回のフルスキャンは再処理でコスト増、クローラ無効化やバケット作り直しは増分処理の仕組みではありません。

下線の用語は 用語集 で意味を確認できます。

選択肢ごとの解説

  • A誤り。毎回フルスキャンは再処理となり、増分処理の要件に反します。
  • B誤り。クローラ無効化は増分処理の仕組みではありません。
  • C正しい。処理済みを記録し増分処理するのはジョブブックマークです。
  • D誤り。バケット作り直しは非現実的で増分処理ではありません。
DEA-C01:AWS Certified Data Engineer - Associateの問題を演習モードで解く