Treasure Workflowを使用すると、複数のタスクで構成されるワークフローを作成し、そのワークフローを定期的に実行するようにスケジュールできます。このトピックでは、TDコンソールとコマンドラインインターフェースでワークフローを作成する方法について、最も基本的な情報を説明します。この柔軟性により、ローカル環境でワークフローを作成し、同じワークフローをTreasure Dataの環境で実行することが可能です。
Treasure Workflowの経験がある場合は、このトピックをスキップしてリファレンス情報を確認してください。
始める前に、Treasure Workflowの前提条件と制限事項を確認してください。
以下の手順に従って、シンプルなワークフローを作成、編集、実行します。
このワークフローを完了するには、Treasure Dataにデータベースとテーブルが必要です。
TDコンソールを開きます。
Data Workbench > Workflowsに移動します。
New Workflowを選択します。
ワークフロー名を入力します。
デフォルトのProject Nameをそのままにするか、別のものを選択します。
Workflow Templateフィールドをクリックし、Simple Import and Saved Queryを選択します。
ビジュアルプレビュー(左側)とコードプレビュー(右側)を確認します。
New Workflowを選択します。
New Workflowを選択すると、コードを変更できるエディターが表示されます。各コードセクションには、ハッシュタグ(#)でマークされた説明が含まれています。
Treasure WorkflowはYAML構文を使用します。インデントとコロンの使用に十分注意してください。
dbname.tableを自分のデータベース名に置き換えます。
Treasure Dataはtd_loadオペレーターを使用して、ストレージ、他のデータベース、またはサービスからデータを読み込みます。この例では、データコネクタのUnique IDを参照します。
TDコンソールで、Integrations Hub > Sourcesに移動します。
コネクタを選択し、次にもっと見るメニュー(…)を選択します。
Copy Unique IDを選択します。
Data Workbench > Workflowsに戻ります。
ワークフローを選択し、次にProject Revisionsを選択します。
Revisionリンクを選択します。
Edit Filesを選択します。
td_load>: リンクをCopy Unique IDの値に置き換えます。
Save & Commitを選択します。
ワークフローをすぐに実行するか、スケジュールを作成できます。
詳細については、ワークフローの実行と確認を参照してください。
以下の手順に従って、シンプルなワークフローを作成、編集、実行します。
既存の「mydirectory」が必要です。詳細については、ワークフローファイル用のディレクトリを作成するを参照してください。
- ターミナルを開きます。
- ワークフローディレクトリを開きます。
cd /users/<yourname>/mydirectory- ディレクトリ内の既存のアイテムをリストしてファイルを確認します。
ls- ワークフローファイルを作成します。このファイルには.dig拡張子が必要です。
cat > my_workflow.dig- ワークフローの内容を入力します。シンプルな例を以下に示します:
_export:
tmp_var: hello world
+echo_task1:
echo>: this is test task!
+echo_task2:
echo>: ${tmp_var}編集を停止するには、Ctrl + Dを入力します。
プロジェクト名を作成し、ワークフローをTreasure Dataにプッシュします。
td wf push my_project- Treasure Dataでプロジェクトファイルを作成すると、ターミナルに以下が表示されます:
