Repro Export Integration

Copy

• Copy for LLM

  Copy page as Markdown for LLMs
• View as Markdown

  Open this page as Markdown
• Open in ChatGPT

  Get insights from ChatGPT
• Open in Claude

  Get insights from Claude
• Cursorに接続

  CursorにMCPサーバーをインストール
• VS Codeに接続

  VS CodeにMCPサーバーをインストール

Repro Import Integrationの詳細はこちらをご覧ください。

新しいRepro Export Integrationコネクタを使用して、簡単な設定のためにカスタマイズされたパラメータでReproのAmazon S3バケットにファイルをエクスポートできます。

前提条件

• TD Toolbeltを含むTreasure Dataの基本知識
• リージョンIDを持つS3バケット

TD Consoleを使用した接続の作成

新しい接続の作成

データ接続を作成する際は、統合にアクセスするための認証情報を提供する必要があります。Treasure Dataでは、まず認証を設定してから、ソース情報を指定します。

1. TD Consoleを開きます。
2. Integrations Hub > Catalogに移動します。
3. Reproを検索して選択します。
4. 次のダイアログが開きます:

5. 接続の名前を入力し、Doneをクリックします。

データ接続でエクスポート結果を設定する

このステップでは、クエリを作成または再利用します。クエリ内でデータ接続を設定します。クエリ内でカラムマッピングを定義する必要がある場合があります。

パラメータを指定して接続を設定する

1. TD consoleを開きます。
2. Data Workbench > Queriesに移動します。
3. データのエクスポートに使用する予定のクエリを選択します。
4. クエリエディタの上部にあるExport Resultsをクリックします。Choose Integrationダイアログが開きます。結果をエクスポートするために使用する接続を選択する際には、既存の接続を使用するか、新しい接続を作成するかの2つのオプションがあります。

既存の接続を使用する

1. 検索ボックスに接続名を入力してフィルタリングします。
2. 接続を選択します。

新しいRepro Connectionを作成する

1. フィールドの値を入力して新しい接続を作成します。
2. 新しい接続に必要な認証情報を入力します。次のパラメータを設定します。

サンプル設定は次のとおりです:

Reproにデータを入力するクエリの例

Treasure Dataから、Repro用の接続にエクスポート結果を設定して次のクエリを実行します:

コード例

SELECT
 an_email_column AS EMAIL,
 another_phone_column AS PHONE
FROM
 your_table;

(オプション) Query Export ジョブをスケジュールする

Scheduled Jobs と Result Export を使用して、指定したターゲット宛先に出力結果を定期的に書き込むことができます。

Treasure Data のスケジューラー機能は、高可用性を実現するために定期的なクエリ実行をサポートしています。

2 つの仕様が競合するスケジュール仕様を提供する場合、より頻繁に実行するよう要求する仕様が優先され、もう一方のスケジュール仕様は無視されます。

例えば、cron スケジュールが '0 0 1 * 1' の場合、「月の日」の仕様と「週の曜日」が矛盾します。前者の仕様は毎月 1 日の午前 0 時 (00:00) に実行することを要求し、後者の仕様は毎週月曜日の午前 0 時 (00:00) に実行することを要求するためです。後者の仕様が優先されます。

TD Console を使用してジョブをスケジュールする

1. Data Workbench > Queries に移動します

2. 新しいクエリを作成するか、既存のクエリを選択します。

3. Schedule の横にある None を選択します。

4. ドロップダウンで、次のスケジュールオプションのいずれかを選択します:

   ドロップダウン値	説明
   Custom cron...	Custom cron... の詳細を参照してください。
   @daily (midnight)	指定されたタイムゾーンで 1 日 1 回午前 0 時 (00:00 am) に実行します。
   @hourly (:00)	毎時 00 分に実行します。
   None	スケジュールなし。

Custom cron... の詳細

 *    *    *    *    *
 -    -    -    -    -
 |    |    |    |    |
 |    |    |    |    +----- day of week (0 - 6) (Sunday=0)
 |    |    |    +---------- month (1 - 12)
 |    |    +--------------- day of month (1 - 31)
 |    +-------------------- hour (0 - 23)
 +------------------------- min (0 - 59)

次の名前付きエントリを使用できます:

• Day of Week: sun, mon, tue, wed, thu, fri, sat.
• Month: jan, feb, mar, apr, may, jun, jul, aug, sep, oct, nov, dec.

各フィールド間には単一のスペースが必要です。各フィールドの値は、次のもので構成できます:

1. (オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。

クエリを実行する

クエリに名前を付けて保存して実行するか、単にクエリを実行します。クエリが正常に完了すると、クエリ結果は指定された宛先に自動的にエクスポートされます。

(オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。

オプション: ワークフローでエクスポート結果を設定する

Treasure Workflow内で、このデータコネクタを使用してデータをエクスポートするように指定できます。

timezone: UTC

_export:
  td:
    database: sample_datasets

+td-result-into-target:
  td>: queries/sample.sql
  result_connection: your_connections_name
  result_settings:
      type: repro
      bucket: bucket_name
      region: ap-northeast-2
      use_sse: true
      sse_algorithm: AES256
      auth_method: basic
      session_token: session_token
      path: /td-export-repro/file_output.csv
      access_key_id: access_id
      secret_access_key: secret_key
      formatter: {type: csv, delimiter: "\t", newline: CRLF, newline_in_field: LF, charset: UTF-8,
      quote_policy: MINIMAL, quote: '"', escape: \, null_string: \N, default_timezone: UTC}
      encoders: {type: gzip}

ワークフローでデータコネクタを使用してデータをエクスポートする方法の詳細については、こちらをクリックしてください。

参考資料

• Embulk-encoder-Encryptionドキュメント: https://docs.treasuredata.com/articles/#!project-integrations/~embulk-encoder-encryption-pgp