DEA-C01:AWS Certified Data Engineer - Associate データの取り込みと変換 問18
データの取り込みと変換/プログラミングの概念の適用データ取り込み処理が、同じイベント(メッセージ)を再試行などで複数回受け取ることがある。重複して受け取っても最終的な結果が1回処理したときと同じになるように設計したい。この性質を何と呼ぶか。
当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません)
- A正規化(データの重複を排除するDB設計)
- B冪等性(idempotency。同じ処理を複数回行っても結果が1回と同じになる性質)
- Cパーティショニング(データを分割して配置する)
- D暗号化(データを秘匿化する)
正解:B
解説
冪等性(idempotency)は、同じ処理を複数回実行しても、最終的な結果が1回だけ実行したときと同じになる性質で、at-least-once 配信で重複が起こり得るデータパイプラインでは、重複排除や upsert などで冪等に設計します。正規化・パーティショニング・暗号化は、別の概念です。
選択肢ごとの解説
- A誤り。正規化はDB設計の概念で、重複処理への耐性の性質ではありません。
- B正しい。重複処理でも結果が変わらない性質が冪等性です。
- C誤り。パーティショニングはデータ分割で、冪等性とは別です。
- D誤り。暗号化はデータの秘匿で、処理の冪等性ではありません。