MLA-C02:AWS Certified Machine Learning Engineer - Associate ML・AI のためのデータ準備 問13
ML・AI のためのデータ準備/データの収集と保存数テラバイトに及ぶ学習データを Amazon S3 に保存し、ML の学習・分析で日付や地域などの条件で必要な部分だけを効率よくスキャンしてコストを抑えたいと考えています。データの保存形式・構成として最も適切なものはどれですか。
当サイトのオリジナル問題(MLA-C02:AWS Certified Machine Learning Engineer - Associateの出題範囲「ML・AI のためのデータ準備」に対応。実際の試験問題ではありません)
- A列指向フォーマット(Parquet 等)に変換し、日付や地域でパーティション分割して S3 に保存する
- Bすべてを 1 つの巨大な未圧縮の CSV ファイルにまとめて保存する
- C各レコードを個別の小さな JSON ファイルとして数百万件に分けて保存する
- D画像として保存して、必要なときに目視で探す
正解:A
解説
列指向フォーマット(Parquet など)に変換し、日付や地域などでパーティション分割して S3 に保存すると、必要な列・パーティションだけを読み取れるため、スキャン量・コストを抑えつつ効率よくアクセスできます。巨大な単一 CSV や無数の小さなファイルはスキャン効率・管理性が悪く、画像化は構造化データの用途に合いません。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A正しい。列指向+パーティション分割により、必要な部分だけを効率よくスキャンでき、コストを抑えられます。
- B誤り。巨大な未圧縮 CSV は毎回全体を読む必要があり、スキャン量・コストが大きくなります。
- C誤り。無数の小さなファイルはメタデータ管理やスキャンのオーバーヘッドが大きく非効率です。
- D誤り。構造化された学習データを画像で保存して目視で探すのは現実的でも効率的でもありません。