必要に応じて、Treasure Data CLIを使用してコネクタを使用できます。
ターミナルを開き、次のコマンドを実行して最新のTD Toolbeltをインストールします。
設定ファイルには、統合からコネクタに入力されるものを指定する in: セクションと、コネクタが Treasure Data のデータベースに出力するものを指定する out: セクションが含まれます。
次の例に示すように、設定ファイル(例: config.yml)を準備します。統合アカウントのアクセス情報を提供してください。
in:
type: mail_publisher_smart
site_id: mysite
login_id: foo
password: bar
data_type: list_status
file_ids: [1,2,3]
filters:
- type: add_time
from_value:
mode: upload_time
to_column:
name: time
out: type: tdsite_id、login_id、およびpasswordを指定します。認証情報は MailPublisher のコンソールから取得できます。
data_typeにlist_statusを設定し、ファイル ID のリストとしてfile_idsを指定します。
data_typeにarticle_statusまたはclick_count_listを設定し、start_dateとdurationを指定します。増分読み込みを行いたい場合はincrementalを設定します。
in:
type: mail_publisher_smart
data_type: article_status
# data_type: click_count_list
start_date: 2018-10-01
duration: 1
incremental: truetd connector:preview コマンドを実行して、設定ファイルを検証します。
$ td connector:preview config.ymlコネクタセッションでは、データパーティションキーとして使用するために、結果データに少なくとも1つのタイムスタンプ列が必要であり、デフォルトでは最初のタイムスタンプ列がキーとして選択されます。MailPublisher コネクタの結果スキーマにはタイムスタンプ列がないため、次のようにフィルター設定を追加して「time」列を追加します。
in:
type: mail_publisher_smart
...
filters:
- type: add_time
from_value:
mode: upload_time
to_column:
name: time
out:
type: tdtd connector:create を実行します。
次のコマンドを使用すると、MailPublisher コネクタを使用した日次インポートセッションが作成されます。
$ td connector:create daily_mail_publisher_import \
"10 0 * * *" td_sample_db td_sample_table config.yml