Microsoft Azure Blob Storage Export Integration

Copy

• Copy for LLM

  Copy page as Markdown for LLMs
• View as Markdown

  Open this page as Markdown
• Open in ChatGPT

  Get insights from ChatGPT
• Open in Claude

  Get insights from Claude
• Cursorに接続

  CursorにMCPサーバーをインストール
• VS Codeに接続

  VS CodeにMCPサーバーをインストール

Microsoft Azure Blob Storage Import Integrationの詳細はこちら。

この記事では、ジョブの実行結果をMicrosoft Azure Blob Storageに直接書き込む方法について説明します。

Microsoft Azure Blob Storageへのエクスポートのサンプルワークフローについては、Treasure Boxesをご覧ください。

前提条件

• TD Toolbeltを含むTreasure Dataの基本知識
• Microsoft Azure Platformアカウント

Azure Storage Accountの作成

まず、Azure Storage Accountを作成する必要があります。作成方法に関するドキュメントは以下をご覧ください。

• Azure Storage Accountについて

Azure Portalで、ストレージアカウントに移動し、「すべての設定」を選択してから「アクセスキー」を選択して、アカウントアクセスキーを取得します。

使用方法

Microsoft Azure Blob Storageでの宛先コンテナの作成

Azure PortalからAzure Blob Storageのコンテナを作成します。

また、コンテナ、Blob、およびメタデータの名前付けと参照のルールを確認してください。

クエリの作成

TD Consoleのクエリエディタページにアクセスして、クエリをコンパイルします。

Result Export対象の指定

同じウィンドウで、「Result Export」セクションの「Add」ボタンを選択し、ドロップダウンメニューから「Microsoft Azure Blob Storage」を選択します。Account Name、Account Key、Container、Pathを含むすべての認証情報を編集します。

Data ConnectionでExport Resultsを設定

1. Data Workbench > Queriesに移動します。
2. 既存のクエリを選択するか、新しいクエリを作成します。
3. クエリエディタで、Export Resultsチェックボックスをオンにします。
4. Microsoft Azure接続を選択します。
5. Export Resultsダイアログペインが開きます。以下のパラメータを編集します。

クエリの実行

クエリに名前を付けて保存してから実行するか、そのまま実行します。クエリが正常に完了すると、結果は指定されたコンテナの宛先に自動的にインポートされます。

(オプション) Query Export ジョブをスケジュールする

Scheduled Jobs と Result Export を使用して、指定したターゲット宛先に出力結果を定期的に書き込むことができます。

Treasure Data のスケジューラー機能は、高可用性を実現するために定期的なクエリ実行をサポートしています。

2 つの仕様が競合するスケジュール仕様を提供する場合、より頻繁に実行するよう要求する仕様が優先され、もう一方のスケジュール仕様は無視されます。

例えば、cron スケジュールが '0 0 1 * 1' の場合、「月の日」の仕様と「週の曜日」が矛盾します。前者の仕様は毎月 1 日の午前 0 時 (00:00) に実行することを要求し、後者の仕様は毎週月曜日の午前 0 時 (00:00) に実行することを要求するためです。後者の仕様が優先されます。

TD Console を使用してジョブをスケジュールする

1. Data Workbench > Queries に移動します

2. 新しいクエリを作成するか、既存のクエリを選択します。

3. Schedule の横にある None を選択します。

4. ドロップダウンで、次のスケジュールオプションのいずれかを選択します:

   ドロップダウン値	説明
   Custom cron...	Custom cron... の詳細を参照してください。
   @daily (midnight)	指定されたタイムゾーンで 1 日 1 回午前 0 時 (00:00 am) に実行します。
   @hourly (:00)	毎時 00 分に実行します。
   None	スケジュールなし。

Custom cron... の詳細

 *    *    *    *    *
 -    -    -    -    -
 |    |    |    |    |
 |    |    |    |    +----- day of week (0 - 6) (Sunday=0)
 |    |    |    +---------- month (1 - 12)
 |    |    +--------------- day of month (1 - 31)
 |    +-------------------- hour (0 - 23)
 +------------------------- min (0 - 59)

次の名前付きエントリを使用できます:

• Day of Week: sun, mon, tue, wed, thu, fri, sat.
• Month: jan, feb, mar, apr, may, jun, jul, aug, sep, oct, nov, dec.

各フィールド間には単一のスペースが必要です。各フィールドの値は、次のもので構成できます:

1. (オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。

クエリを実行する

クエリに名前を付けて保存して実行するか、単にクエリを実行します。クエリが正常に完了すると、クエリ結果は指定された宛先に自動的にエクスポートされます。

(オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。

Audience Studio で Segment をアクティベートする

Audience Studio で activation を作成することで、segment データをターゲットプラットフォームに送信することもできます。

1. Audience Studio に移動します。
2. parent segment を選択します。
3. ターゲット segment を開き、右クリックして、Create Activation を選択します。
4. Details パネルで、Activation 名を入力し、前述の Configuration Parameters のセクションに従って activation を設定します。
5. Output Mapping パネルで activation 出力をカスタマイズします。

• Attribute Columns
  • Export All Columns を選択すると、変更を加えずにすべての列をエクスポートできます。
  • + Add Columns を選択して、エクスポート用の特定の列を追加します。Output Column Name には、Source 列名と同じ名前があらかじめ入力されます。Output Column Name を更新できます。+ Add Columns を選択し続けて、activation 出力用の新しい列を追加します。
• String Builder
  • + Add string を選択して、エクスポート用の文字列を作成します。次の値から選択します:
    • String: 任意の値を選択します。テキストを使用してカスタム値を作成します。
    • Timestamp: エクスポートの日時。
    • Segment Id: segment ID 番号。
    • Segment Name: segment 名。
    • Audience Id: parent segment 番号。

6. Schedule を設定します。

• スケジュールを定義する値を選択し、オプションでメール通知を含めます。

7. Create を選択します。

CLIからの使用方法

Microsoft Azure Blob StorageへのResult ExportにCLIを使用することもできます。

account_name/account_key case

td query --result '{"type":"azure_blob_storage","account_name":"xxxx","account_key":"xxxx","container":"xxxx","path_prefix":"/path/to/file.csv","sequence_format":"","header_line":true,"quote_policy":"MINIMAL","delimiter":",","null_string":"","newline":"CRLF"}' -d sample_datasets "select * from www_access" -T presto

WorkflowでのExport Resultsの設定（オプション）

Treasure Workflow内で、このデータコネクタを使用してデータを出力するように指定できます。

timezone: UTC

_export:
	td:
		database: sample_datasets

+td-result-into-target:
	td>: queries/sample.sql
	result_connection: my_azure_blob
	result_settings:
		container: test_container
		path_prefix: /path/to/file.csv
		format: csv
		blob_type: BLOCK_BLOB

CLIを使用してワークフロー内でデータコネクタを使用したデータのエクスポートの詳細をご覧ください。

参考資料

• Embulk-encoder-Encryptionドキュメント：https://docs.treasuredata.com/articles/#!project-integrations/~embulk-encoder-encryption-pgp