この機能はベータ版です。詳細については、カスタマーサクセス担当者にお問い合わせください。
Google BigQuery向けのLive Connect Zero-Copyにより、お客様はTreasure Data Customer Data Platform (CDP)を使用して、Extract、Transform、Load (ETL)プロセスを必要とせずにBigQuery上のデータにアクセスできます。このアプローチは、セキュリティを強化し、データ移動に関連するコストを削減します。Treasure Data環境から直接BigQueryに保存されているデータのシームレスな統合とクエリを可能にします。
BigQueryデータウェアハウスからのZero-Copyの実行は、Treasure Data BigQueryインテグレーションを活用してフェデレーテッドクエリを実行します。データフローは次のようになります:
フェデレーテッドクエリにより、データエンジニアは認証情報を使用して外部データウェアハウスに接続し、データにアクセスしてクエリを実行できます。この機能により、迅速なデータ拡張が可能になり、データエンリッチメントプロセスの効率が向上します。フェデレーテッドクエリを使用することで、データエンジニアは現在のニーズに基づいて外部データと内部データを動的にクエリおよび結合でき、柔軟性が提供され、複雑なETLプロセスの必要性が軽減されます。このアプローチにより、リアルタイムのデータアクセス、データガバナンスとセキュリティの向上、およびデータ管理の簡素化も保証されます。
BigQueryでzero-copyを実装するための手順は、概略として以下の通りです:
- TD Integration Hubで、BigQueryインテグレーションを使用して認証を作成します。
- 新しいZero-Copyソースを作成し、JSONキーファイルを指定します。
- TD Data Workbenchで、新しいQueryを作成します。クエリするテーブル名の前に、作成したばかりのzero-copyソースの名前を付けます。例えば、次のように設定されたbigquery_testという名前のZero-Copy (Federated Query)設定がある場合:
次のように、testデータベースのtable1のクエリを指定できます:
select * from bigquery_test.test_schema.table1
test_schemaはBigQueryのスキーマ名です。
- クエリを実行した後、結果を処理して既存のオーディエンスプロファイルを更新または拡張します。
Treasure Dataがクエリ結果の処理を完了した後、クエリ結果は7日後に削除されます。ただし、INSERT INTOオプションを使用して、クエリ結果をTreasure Dataに保存できます。
BigQueryでのZero-Copyには、以下の制限があります:
- カタログ名の長さは64文字を超えることはできません。
- カタログ名のプレフィックスはbigquery_で始まる必要があります。
- 同じアカウントに200を超える「Zero-Copy (Federated Query) Configs」を持つことはできません。
- フェデレーテッドクエリはTrinoでのみ利用可能です。
- クエリあたりの入力サイズ制限は10GBです。(Trinoプレビュークラスターでは利用できません。)
- カタログ反映時間:最大5分(新しく作成されたzero-copyカタログまたはカタログの変更が反映されるまで最大5分かかります。)