# FTP Server Export Integration

[FTP Server Import Integrationの詳細はこちら](/ja/int/ftp-server-import-integration)。

この記事では、ジョブ結果をFTPサーバーに直接送信する方法を説明します。FTPS（explicit）またはFTPES（implicit）にも対応しています。

FTPサーバーへのジョブ結果のエクスポート方法に関するサンプルワークフローについては、[Treasure Boxes](https://github.com/treasure-data/treasure-boxes/tree/master/td/ftp)をご覧ください。

## 前提条件

- Treasure Dataの基本知識（TD [toolbelt](https://toolbelt.treasuredata.com/)を含む）
- FTPサーバー


![](/assets/image-20191107-002705.3225b9cf7ce826079ba7e49654f973f710a0effb89859cfc933396812fbe8b22.9dee5338.png)

## Treasure Data Integration の静的 IP アドレス

セキュリティポリシーで IP ホワイトリストが必要な場合は、接続を成功させるために Treasure Data の IP アドレスを許可リストに追加する必要があります。

リージョンごとに整理された静的 IP アドレスの完全なリストは、次のリンクにあります:
[https://api-docs.treasuredata.com/en/overview/ip-addresses-integrations-result-workers/](https://api-docs.treasuredata.com/en/overview/ip-addresses-integrations-result-workers/)

## FTP(S) サーバーの認証情報の取得

FTP(S)サーバーにアクセスするための認証情報を取得します。

## クエリの作成

TD Consoleのクエリエディタページに移動し、クエリを作成します。

### Result Exportターゲットの指定

同じウィンドウで、Result Exportセクションの**Add**を選択し、ドロップダウンメニューからFTPを選択します。Host、Port、Username、Passwordなどのすべての情報を編集します。

FTPS（explicit）またはFTPES（implicit）でFTPサーバーに接続する場合は、Use SSL?を選択し、適切なオプションを選択します。

![](/assets/image-20191107-003156.e7d49fa7c7a931d98a241e1cf232d330b9f8a6c7ba2699ebadffa2148e9de8d9.9dee5338.png)

### PGP暗号化設定を使用する場合

| Name | Description | Value | Default Value | Required |
|  --- | --- | --- | --- | --- |
| format | アップロードファイルの出力形式 | サポートされる値：  - csv - tsv | csv | NO |
| encoders | 出力のエンコーダータイプを指定 | サポートされる値：  - "" - gz - bzip2 - encrypt_pgp | "" | NO |
| public_key | 暗号化に使用する公開鍵 | String |  |  |
| key_identifier | ファイルを保護するために使用される暗号化サブキーのKey IDを指定します。マスターキーは暗号化プロセスから除外されます。（string、required） | String |  |  |
| amor | 暗号化された出力にASCIIアーマーを使用（boolean） | Boolean |  |  |
| compression_type | 圧縮タイプは、データを暗号化する前に圧縮するかどうかを決定します。 | サポートされる値  - gzip -->  例：ファイル拡張子は.csv.gz.gpg - bzip2 --> 例：ファイル拡張子は.csv.bz2.gpg - none --> 例：ファイル拡張子は.csv.gpg - zip_builtin --> 例：ファイル拡張子は.csv.zip.gpg - zlip_builtin --> 例：ファイル拡張子は.csv.z.gpg - bzip2_builtin --> 例：ファイル拡張子は.csv.bz2.gpg  **注：ファイルを暗号化してアップロードする前に圧縮してください。復号化すると、ファイルは.gzや.bz2などの圧縮形式に戻ります。** |  |  |


### (オプション) Query Export ジョブをスケジュールする

Scheduled Jobs と Result Export を使用して、指定したターゲット宛先に出力結果を定期的に書き込むことができます。

Treasure Data のスケジューラー機能は、高可用性を実現するために定期的なクエリ実行をサポートしています。

2 つの仕様が競合するスケジュール仕様を提供する場合、より頻繁に実行するよう要求する仕様が優先され、もう一方のスケジュール仕様は無視されます。

例えば、cron スケジュールが `'0 0 1 * 1'` の場合、「月の日」の仕様と「週の曜日」が矛盾します。前者の仕様は毎月 1 日の午前 0 時 (00:00) に実行することを要求し、後者の仕様は毎週月曜日の午前 0 時 (00:00) に実行することを要求するためです。後者の仕様が優先されます。

#### TD Console を使用してジョブをスケジュールする

1. **Data Workbench > Queries** に移動します
2. 新しいクエリを作成するか、既存のクエリを選択します。
3. **Schedule** の横にある None を選択します。
![](/assets/image2021-1-15_17-28-51.f1b242f6ecc7666a0097fdf37edd1682786ec11ef80eff68c66f091bc405c371.0f87d8d4.png)
4. ドロップダウンで、次のスケジュールオプションのいずれかを選択します:
![](/assets/image2021-1-15_17-29-47.45289a1c99256f125f4d887e501e204ed61f02223fde0927af5f425a89ace0c0.0f87d8d4.png)
| ドロップダウン値 | 説明 |
|  --- | --- |
| Custom cron... | [Custom cron... の詳細](#custom-cron-details)を参照してください。 |
| @daily (midnight) | 指定されたタイムゾーンで 1 日 1 回午前 0 時 (00:00 am) に実行します。 |
| @hourly (:00) | 毎時 00 分に実行します。 |
| None | スケジュールなし。 |


#### Custom cron... の詳細

![](/assets/image2021-1-15_17-30-23.0f94a8aa5f75ea03e3fec0c25b0640cd59ee48d1804a83701e5f2372deae466c.0f87d8d4.png)

| **Cron 値** | **説明** |
|  --- | --- |
| `0 * * * *` | 1 時間に 1 回実行します。 |
| `0 0 * * *` | 1 日 1 回午前 0 時に実行します。 |
| `0 0 1 * *` | 毎月 1 日の午前 0 時に 1 回実行します。 |
| "" | スケジュールされた実行時刻のないジョブを作成します。 |



```
 *    *    *    *    *
 -    -    -    -    -
 |    |    |    |    |
 |    |    |    |    +----- day of week (0 - 6) (Sunday=0)
 |    |    |    +---------- month (1 - 12)
 |    |    +--------------- day of month (1 - 31)
 |    +-------------------- hour (0 - 23)
 +------------------------- min (0 - 59)
```

次の名前付きエントリを使用できます:

- Day of Week: sun, mon, tue, wed, thu, fri, sat.
- Month: jan, feb, mar, apr, may, jun, jul, aug, sep, oct, nov, dec.


各フィールド間には単一のスペースが必要です。各フィールドの値は、次のもので構成できます:

| フィールド値  | 例  | 例の説明  |
|  --- | --- | --- |
| 各フィールドに対して上記で表示された制限内の単一の値。 |  |  |
| フィールドに基づく制限がないことを示すワイルドカード
`'*'`。 | `'0 0 1 * *'` | 毎月 1 日の午前 0 時 (00:00) に実行するようにスケジュールを設定します。 |
| 範囲 `'2-5'`
フィールドの許可される値の範囲を示します。 | `'0 0 1-10 * *'` | 毎月 1 日から 10 日までの午前 0 時 (00:00) に実行するようにスケジュールを設定します。 |
| カンマ区切りの値のリスト `'2,3,4,5'`
フィールドの許可される値のリストを示します。 | `0 0 1,11,21 * *'` | 毎月 1 日、11 日、21 日の午前 0 時 (00:00) に実行するようにスケジュールを設定します。 |
| 周期性インジケータ `'*/5'`
フィールドの有効な値の範囲に基づいて、
スケジュールが実行を許可される頻度を表現します。 | `'30 */2 1 * *'` | 毎月 1 日、00:30 から 2 時間ごとに実行するようにスケジュールを設定します。
`'0 0 */5 * *'` は、毎月 5 日から 5 日ごとに午前 0 時 (00:00) に実行するようにスケジュールを設定します。 |
| `'*'`
ワイルドカードを除く上記の
いずれかのカンマ区切りリストもサポートされています
`'2,*/5,8-10'` | `'0 0 5,*/10,25 * *'` | 毎月 5 日、10 日、20 日、25 日の午前 0 時 (00:00) に実行するようにスケジュールを設定します。 |


1. (オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。


### クエリを実行する

クエリに名前を付けて保存して実行するか、単にクエリを実行します。クエリが正常に完了すると、クエリ結果は指定された宛先に自動的にエクスポートされます。

設定エラーにより継続的に失敗するスケジュールジョブは、複数回通知された後、システム側で無効化される場合があります。

(オプション) Delay execution を有効にすることで、クエリの開始時刻を遅延させることができます。

## Audience Studio で Segment をアクティベートする

Audience Studio で activation を作成することで、segment データをターゲットプラットフォームに送信することもできます。

1. **Audience Studio** に移動します。
2. parent segment を選択します。
3. ターゲット segment を開き、右クリックして、**Create Activation** を選択します。
4. **Details** パネルで、Activation 名を入力し、前述の Configuration Parameters のセクションに従って activation を設定します。
5. **Output Mapping** パネルで activation 出力をカスタマイズします。


![](/assets/ouput.b2c7f1d909c4f98ed10f5300df858a4b19f71a3b0834df952f5fb24018a5ea78.8ebdf569.png)

- Attribute Columns
  - **Export All Columns** を選択すると、変更を加えずにすべての列をエクスポートできます。
  - **+ Add Columns** を選択して、エクスポート用の特定の列を追加します。Output Column Name には、Source 列名と同じ名前があらかじめ入力されます。Output Column Name を更新できます。**+ Add Columns** を選択し続けて、activation 出力用の新しい列を追加します。
- String Builder
  - **+ Add string** を選択して、エクスポート用の文字列を作成します。次の値から選択します:
    - String: 任意の値を選択します。テキストを使用してカスタム値を作成します。
    - Timestamp: エクスポートの日時。
    - Segment Id: segment ID 番号。
    - Segment Name: segment 名。
    - Audience Id: parent segment 番号。


1. **Schedule** を設定します。


![](/assets/snippet-output-connector-on-audience-studio-2024-08-28.a99525173709da1eb537f839019fa7876ffae95045154c8f2941b030022f792c.8ebdf569.png)

- スケジュールを定義する値を選択し、オプションでメール通知を含めます。


1. **Create** を選択します。


batch journey の activation を作成する必要がある場合は、[Creating a Batch Journey Activation](/products/customer-data-platform/journey-orchestration/batch/creating-a-batch-journey-activation) を参照してください。

## CLIからの使用

FTP(S)へのResult Exportには、CLIも使用できます。

例：

### FTP用CLI


```bash
td query --result '{"type":"ftp","host":"xx.xx.xx.xx","port":21,"username":"xxxx","password":"xxxxx","path_prefix":"/path/to/file","file_ext":".csv","sequence_format":"","header_line":true,"quote_policy":"MINIMAL","delimiter":",","null_string":"","newline":"CRLF"}' -d sample_datasets "select * from www_access" -T presto
```

### FTPS（Implicitモード）用CLI


```bash
td query --result '{"type":"ftp","host":"xx.xx.xx.xx","port":990,"username":"xxxx","password":"xxxxx","passive_mode":true,"ascii_mode":true,"ssl":true,"ssl_explicit":false,"ssl_verify":false,"ssl_verify_hostname":false,"path_prefix":"/path/to/file","file_ext":".csv","sequence_format":"","header_line":true,"quote_policy":"MINIMAL","delimiter":",","null_string":"","newline":"CRLF"}' -d sample_datasets "select * from www_access" -T presto
```

### FTPES（Explicitモード）用CLI


```bash
td query --result '{"type":"ftp","host":"xx.xx.xx.xx","port":21,"username":"xxxx","password":"xxxxx","passive_mode":true,"ascii_mode":true,"ssl":true,"ssl_explicit":true,"ssl_verify":false,"ssl_verify_hostname":false,"path_prefix":"/path/to/file","file_ext":".csv","sequence_format":"","header_line":true,"quote_policy":"MINIMAL","delimiter":",","null_string":"","newline":"CRLF"}' -d sample_datasets "select * from www_access" -T presto
```

### レガシーモード（非推奨）

この機能は後方互換性のために保持されており、近い将来提供を停止します。

#### オンデマンドジョブの場合

オンデマンドジョブの場合は、td queryコマンドに--resultオプションを追加するだけです。ジョブが完了すると、結果は指定されたFTPサーバーに送信されます。


```bash
td query \
  --result 'ftp://user:password@domain.com/path.csv' \
  -w -d testdb \
  "SELECT code, COUNT(1) AS cnt FROM www_access GROUP BY code"
```

ポート番号が指定されていない場合、デフォルト値は21です。

リクエストボディはCSV形式（[RFC 4180](http://www.ietf.org/rfc/rfc4180.txt)）で、最初の行はカラム名のヘッダー、改行はCRLF、テキストエンコーディングはUTF-8、引用符はダブルクォートです。


```
_c0,_c1
a,b
c," d "
e,f
```

### スケジュールジョブの場合

スケジュールジョブの場合は、ジョブをスケジュールする際に--resultオプションを追加するだけです。ジョブ実行のたびに、結果はオンデマンドジョブと同じ方法で送信されます。


```bash
td result:create myftp ftp://user:password@domain.com/

td sched:create hourly_count_example "0 * * * *" \
-d testdb \
--result myftp:path.csv \
"SELECT code, COUNT(1) AS cnt FROM www_access GROUP BY code"
```

## 参考資料

- Embulk-encoder-Encryptionドキュメント：[https://docs.treasuredata.com/articles/#!project-integrations/~embulk-encoder-encryption-pgp](/ja/int/embulk-encoder-encryption-pgp)


## FTP Data ConnectorのFAQ

注：ファイルを暗号化してアップロードする前に圧縮してください。

1. 非ビルトイン暗号化を使用して復号化すると、ファイルは.gzや.bz2などの圧縮形式に戻ります。
2. ビルトイン暗号化を使用して復号化すると、ファイルは生データに戻ります。