DEA-C01:AWS Certified Data Engineer - Associate データの取り込みと変換 問6
データの取り込みと変換/データパイプラインのオーケストレーション既存の Apache Airflow の DAG で定義したデータパイプラインを、インフラ運用の手間をかけずにマネージドな環境で実行したいと考えています。最も適切なのはどれですか。
当サイトのオリジナル問題(DEA-C01:AWS Certified Data Engineer - Associateの出題範囲「データの取り込みと変換」に対応。実際の試験問題ではありません)
- AEC2 クラスターに Airflow を自前でインストールして運用する
- BAmazon Managed Workflows for Apache Airflow(Amazon MWAA)で既存の Airflow DAG をマネージドに実行する
- CAWS Glue クローラで Airflow DAG を実行する
- DAmazon Athena で Airflow DAG を実行する
正解:B
解説
Amazon MWAA(Managed Workflows for Apache Airflow)は、既存の Apache Airflow の DAG をそのまま使いながら、スケーリングやパッチ適用などの運用をマネージドに任せられるサービスです。自前の EC2 Airflow は運用負荷が高く、Glue クローラや Athena は Airflow DAG の実行基盤ではありません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。EC2 への自前インストールは運用負荷が高く、マネージドの要件に反します。
- B正しい。MWAA は既存の Airflow DAG をマネージド環境で実行できます。
- C誤り。Glue クローラはスキーマ検出が目的で、Airflow DAG の実行基盤ではありません。
- D誤り。Athena はクエリサービスで、Airflow DAG を実行しません。