Skip to content
/
CLIからのData Connectorジョブ実行...
Last updated

CLIからのData Connectorジョブ実行のスケジュール設定

スケジュール実行は、連携元からデータを取得する定期的な試行中のData Connectorの動作を制御する追加の設定パラメーターをサポートしています:

  • incremental この設定は、ロードモードを制御するために使用されます。ロードモードは、各オブジェクトに関連付けられたネイティブのタイムスタンプまたは数値フィールドの1つに基づいて、Data Connectorが連携からデータを取得する方法を管理します
  • incremental_columnn この設定は、Treasure Dataにインポートされるベースカラムを定義するために使用されます。このフィールドには1つのカラムのみを定義できます。推奨値は created, createdTimestamp, updated, updatedTimestamp です
  • PST、CSTなどのTimezoneの略語はサポートされておらず、予期しないスケジュールになる可能性があります。
  • --timezoneオプションは、'Asia/Tokyo'、'America/Los_Angeles'などの拡張Timezone形式のみをサポートしています。

incremental modeを使用したロードファイルの例を次に示します:

in:
  type: intg_type
  data_center: US1
  authentication_mode: key_secret
  application_key: your_application_user_key
  secret_key: your_application_secret_key
  api_key: your_api_key
  data_source: account
  batch_size: 1000
  query: SELECT * FROM table_name
  incremental: true
  incremental_column: created
filters:
- type: add_time
  from_value:
    mode: upload_time
  to_column:
    name: time

スケジュールの作成

新しいスケジュールは、td connector:createコマンドを使用して作成できます。スケジュールの名前、cron形式のスケジュール、データが保存されるdatabaseとtable、およびData Connector設定ファイルが必要です。

cronパラメーターは、@hourly、@daily、@monthlyのオプションを受け入れます。

デフォルトでは、スケジュールはUTC timezoneで設定されます。-tまたは--timezoneオプションを使用して、timezoneでスケジュールを設定できます。

たとえば、td connector:createコマンドを使用して日次で実行されるスケジュールジョブを作成できます:

td connector:create connector_name @daily connector_database connector_table load.yml
Previous page
Next page