Skip to content
Last updated

Achieving Time Partitioning In S3 Of Data Exported Using Bulk Export

よくある質問として「Treasure Dataは、このプロセスを通じてエクスポートされたデータを、Treasure Dataシステムのコア内で維持されているパーティショニング戦略と同様に、時間単位のバケットに従ってパーティショニングすることができますか?」というものがあります。

Bulk Exportコマンドは、エクスポートされたデータのパーティショニングをサポートしなくなりました。これは、要件を満たすには遅すぎたエクスポート速度を最適化するためです。

パーティショニングが必要な場合は、このコマンドを使用して一度に1時間のセグメントをエクスポートすることをお勧めします。プロセスをscriptで自動化してください。これが最も便利なアプローチではないことは承知していますが、bulk exportedデータで時間ベースのパーティショニングを実現するには、このアプローチを使用してください。