DEA-C01:AWS Certified Data Engineer - Associate データ運用とサポート 問11
データ運用とサポート/データ品質の確保分散処理の変換ジョブで、一部のキーにデータが偏る(データスキュー)ために特定のタスクだけが極端に遅く、全体のボトルネックになっています。最も適切な対応はどれですか。
当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データ運用とサポート」に対応。実際の試験問題ではありません)
- Aインスタンスを 1 台だけ最上位サイズに変更すれば必ず解消する
- B偏りはそのままに、タイムアウトを延ばして待つ
- Cログの出力量を減らせばスキューは解消する
- Dデータスキューを特定し、キーのソルティングや再パーティション分割などでパーティション間の負荷を均等化する
正解:D
解説
データスキュー(キーの偏り)は、特定パーティション/タスクに負荷が集中して全体を遅くします。偏りの大きいキーにソルト(接頭辞等)を付けて分散させるソルティングや、再パーティション分割でパーティション間の負荷を均等化するのが定石です。単なるインスタンス増強やタイムアウト延長、ログ削減では根本原因は解消しません。
選択肢ごとの解説
- A誤り。1 台の増強では、偏ったキーに処理が集中する根本原因は解消しません。
- B誤り。タイムアウト延長は待つだけで、ボトルネックの解消になりません。
- C誤り。ログ出力量とデータスキューは無関係です。
- D正しい。ソルティングや再パーティション分割で、パーティション間の負荷を均等化できます。