SFTP V2サーバーエクスポートインテグレーション

Copy

• Copy for LLM

  Copy page as Markdown for LLMs
• View as Markdown

  Open this page as Markdown
• Open in ChatGPT

  Get insights from ChatGPT
• Open in Claude

  Get insights from Claude
• Cursorに接続

  CursorにMCPサーバーをインストール
• VS Codeに接続

  VS CodeにMCPサーバーをインストール

このインテグレーションは、SFTPサーバーへのデータアップロードを可能にし、以下をサポートしています：

• 複数のファイル形式
• データ圧縮
• サーバーハンドシェイクアルゴリズム

前提条件と制限事項

前提条件

• ツールベルトを含むTreasure Dataの基本的な知識
• SFTPサーバー

制限事項

• パスプレフィックスには以下の文字を含めることはできません: * ?

Treasure Data Integration の静的 IP アドレス

セキュリティポリシーで IP ホワイトリストが必要な場合は、接続を成功させるために Treasure Data の IP アドレスを許可リストに追加する必要があります。

リージョンごとに整理された静的 IP アドレスの完全なリストは、次のリンクにあります: https://api-docs.treasuredata.com/en/overview/ip-addresses-integrations-result-workers/

基本的な使用方法

以下の図は、Treasure DataエージェントからSFTPまたは類似のサーバーへデータをエクスポートする典型的な使用シナリオを示しています。

新しい接続の作成

クエリを実行する前に、TD Consoleでデータ接続を作成および設定する必要があります。データ接続の一部として、以下の手順を使用してインテグレーションにアクセスするための認証を提供します：

1. TD Consoleを開きます。
2. Integrations Hub > Catalogに移動します。
3. SFTP_V2を検索し、Create Authenticationを選択します。
4. 接続認証情報を入力します。

認証フィールド

1. Continueを選択し、認証の名前を入力します。
2. Doneを選択します。

エクスポート用のクエリ結果の設定

TD Consoleはデータをエクスポートする複数の方法をサポートしています。Data Workbenchからデータをエクスポートするには、以下の手順を完了します。

1. Data Workbench > Queriesに移動します。
2. New Queryを選択し、クエリを定義します。
3. Export Resultsを選択し、データエクスポートの設定を行います。
4. 既存のインテグレーションを使用するか、新しいインテグレーションを作成します。
5. エクスポートパラメータを設定し、Doneを選択します。

エクスポート設定パラメータ

Audience Studio で Segment をアクティベートする

Audience Studio で activation を作成することで、segment データをターゲットプラットフォームに送信することもできます。

1. Audience Studio に移動します。
2. parent segment を選択します。
3. ターゲット segment を開き、右クリックして、Create Activation を選択します。
4. Details パネルで、Activation 名を入力し、前述の Configuration Parameters のセクションに従って activation を設定します。
5. Output Mapping パネルで activation 出力をカスタマイズします。

• Attribute Columns
  • Export All Columns を選択すると、変更を加えずにすべての列をエクスポートできます。
  • + Add Columns を選択して、エクスポート用の特定の列を追加します。Output Column Name には、Source 列名と同じ名前があらかじめ入力されます。Output Column Name を更新できます。+ Add Columns を選択し続けて、activation 出力用の新しい列を追加します。
• String Builder
  • + Add string を選択して、エクスポート用の文字列を作成します。次の値から選択します:
    • String: 任意の値を選択します。テキストを使用してカスタム値を作成します。
    • Timestamp: エクスポートの日時。
    • Segment Id: segment ID 番号。
    • Segment Name: segment 名。
    • Audience Id: parent segment 番号。

6. Schedule を設定します。

• スケジュールを定義する値を選択し、オプションでメール通知を含めます。

7. Create を選択します。

（オプション）CLIを使用したエクスポートインテグレーション

TD Toolbeltを使用して、CLIからSFTPへのクエリ結果のエクスポートをトリガーできます。td queryコマンドの--resultオプションを使用してエクスポートジョブのパラメータを指定する必要があります。詳細については、コマンドラインからのTreasure Dataへのデータのクエリとインポートを参照してください。

オプションの形式はJSONで、一般的な構造は以下の通りです：

• ユーザー名とパスワードを使用した認証：

{
  "type": "sftp_v2",
  "host": "SFTPサーバーのIPまたはホスト",
  "port": "オープンポート",
  "path_prefix": "/upload/2024Aug29/TC01.csv",
  "temp_file_threshold": "一時ファイルのサイズ",
  "timeout": 600,
  "user_directory_is_root": false,
  "rename_file_after_upload": true,
  "auth_method": "password",
  "username": "ログインユーザー",
  "password": "auth_methodがpasswordの場合のユーザーパスワード"
}

• 公開鍵/秘密鍵ペアを使用した認証

{
  "type": "sftp_v2",
  "host": "SFTPサーバーのIPまたはホスト",
  "port": "オープンポート",
  "path_prefix": "/upload/2024Aug29/TC01.csv",
  "temp_file_threshold": "一時ファイルのサイズ",
  "timeout": 600,
  "user_directory_is_root": false,
  "rename_file_after_upload": true,
  "auth_method": "key_pair",
  "secret_key_file": "秘密鍵ファイルの内容",
  "secret_key_passphrase": "td@123"
}

CLIパラメータ

td ... --result \
'{"type":"sftp_v2", "secret_key_file": "-----BEGIN OPENSSH PRIVATE KEY-----\nline1\nline2\nline3\n-----END OPENSSH PRIVATE KEY-----\n\n"}'

-----BEGIN OPENSSH PRIVATE KEY-----
line1
line2
line3
-----END OPENSSH PRIVATE KEY-----

-----BEGIN OPENSSH PRIVATE KEY-----line1line2line3-----END OPENSSH PRIVATE KEY-----

quote_policy: ALL,
quote: "'",

'id'|'column01'|'column02'|'column03'|'column04'|'column05'
'1'|'data01'|'data02'|'data03'|'data04'|'data05'

quote_policy: MINIMAL,
quote: "'",

id|column01|column02|column03|column04|column05
1|data01|data02|data03|data04|data05

quote_policy: ALL,
quote: "'",

'id'|'column01'|'column02'
'1'|'data01'|'data02'

quote_policy: ALL,
quote: "\"",

"id"|"column01"|"column02"
"1"|"data01"|"data02"

使用例

1. パスワード認証を使用する場合

   td --database your_db --wait "SELECT email FROM (VALUES ('test01@test.com')) tbl(email)" \
   --type presto \
   --result '{"type":"sftp_v2","host":"your_ip","port": 22,"auth_method":"password","username":"user_name","password":"your_pass", "user_directory_is_root": true, "rename_file_after_upload": true,"path_prefix":"/sftp/2024aug/test.csv"}'

2. パスワード認証とデータ圧縮を使用する場合

   td --database your_db --wait "SELECT email FROM (VALUES ('test01@test.com')) tbl(email)" \
   --type presto \
   --result '{"type":"sftp_v2","host":"your_ip","port": 22,"auth_method":"password","username":"user_name","password":"password","user_directory_is_root":true,"path_prefix":"/sftp/2024aug/test.csv","rename_file_after_upload":true,"format": "csv", "compression": "gz","header_line":true,"quote_policy":"ALL","delimiter":"\t","null_string":"","newline":"CRLF","temp_file_threshold":0,"sequence_format":".%01d%01d"}'

3. パスワードフレーズ付きの公開鍵/秘密鍵認証を使用する場合

   秘密鍵ファイルの内容（パスワードフレーズは123）：

   -----BEGIN OPENSSH PRIVATE KEY-----
   line1
   line2
   line3
   -----END OPENSSH PRIVATE KEY-----

   CLI用の形式：

   -----BEGIN OPENSSH PRIVATE KEY-----\nline1\nline2\nline3\n-----END OPENSSH PRIVATE KEY-----\n\n

   CLIコマンド：

   td --database your_db --wait "SELECT email FROM (VALUES ('test01@test.com')) tbl(email)" \
   --type presto \
   --result '{"type":"sftp_v2","host":"your_ip","port": 22,"auth_method":"key_pair","username":"user_name", "path_prefix": "/sftp/2024aug/test.csv","sequence_format":"","max_connection_retry":5,"secret_key_passphrase":"123","timeout":600,"secret_key_file":"-----BEGIN OPENSSH PRIVATE KEY-----\nline1\nline2\nline3\n-----END OPENSSH PRIVATE KEY-----\n\n"}'

4. 新しい顧客を作成する場合

   td --database luan_db --wait "SELECT customer_list_id,first_name,last_name,birthday,company_name,email,fax,gender,job_title,phone_business,phone_home,phone_mobile,second_name,credentials FROM (VALUES ('site_1','fname_201','lname_1','1990-05-12','Test Company','test01@example.com','03-0000-0000','male','Engineer','03-0000-0001','03-0000-0002','090-0000-0000','second_name','credential_1')) AS t(customer_list_id,first_name,last_name,birthday,company_name,email,fax,gender,job_title,phone_business,phone_home,phone_mobile,second_name,credentials)" \
   --type presto \
   --result '{"type":"sftp_v2","host":"your_ip","port": 22,"auth_method":"password","username":"user_name","password":"your_pass","user_directory_is_root":true,"path_prefix":"/sftp/2024aug/customer.csv","rename_file_after_upload":true}'

5. 暗号化エンコーダーを使用する場合

   td query -d luan_db -w "select * from luan_db.sfcc_500k" -T presto --result '{
     "type": "sftp_v2",
     "host": "ホストサーバー",
     "auth_method": "password",
     "username": "ユーザー名",
     "password": "パスワード",
     "path_prefix": "cli/test_27_3_500K.csv.bz2.gpg",
     "file_ext": ".gpg",
     "rename_file_after_upload": false,
     "formatter": {
       "type": "csv",
       "quote_policy": "MINIMAL",
       "delimiter": ",",
       "null_string": "null",
       "newline": "\n"
     },
     "compression": "encrypt_pgp",
     "public_key": "公開鍵",
     "key_identifier": "キー識別子",
     "armor": true/false,
     "compression_type": "bzip2/gzip/none"
   }'

（オプション）その他の考慮事項

Treasure Workflow内で、このインテグレーションを使用してデータをエクスポートするよう指定できます。サンプルワークフローについては、Treasure Boxesを参照してください。

• 結果エクスポートは、ターゲット先に定期的にデータをアップロードするようにスケジュールできます
• ほとんどのインポートおよびエクスポートインテグレーションは、より高度なデータパイプラインに関与するためにTD Workflowに追加できます。詳細についてはこちらを参照してください。

参考資料

• Embulk-encoder-Encryptionドキュメント：embulk-encoder-encryption-pgp

SFTP Data ConnectorのFAQ

Q: SFTPサーバーに接続できません。どうすればよいですか？

A: 以下の点を確認してください：

• プロトコルが有効であることを確認してください。SFTPを使用する場合は、このインテグレーションを使用できます。FTP/FTPSを使用する場合は、FTPサーバーインポートインテグレーションを試してください。
• ファイアウォールを使用している場合は、許可されているIPレンジとポートを確認してください。サーバー管理者はセキュリティ上の理由から、デフォルトのポート番号をTCP 22から変更することがあります。
• 秘密鍵がOpenSSH形式であることを確認してください。Treasure Dataは「PuTTY」などの他の形式をサポートしていません。
• Treasure DataはOpenSSH 7.8以降のデフォルト形式の秘密鍵をサポートしていません。'-m PEM'オプションを使用して鍵を再生成してください。

Q: SFTPサーバー上にアップロードしたファイルが見つかりません。何が起こったのですか？

A: SFTPサーバーがAppendモードをサポートしていない場合、インテグレーションは「SFTP Exception: no such file.」というエラーでファイルを更新できない可能性があります。安定性の理由から、インテグレーションはファイルコンテンツをバッチでアップロードします。そのため、SFTPサーバーでAppendモードを有効にする必要があります。SFTPサーバーでAppendモードを有効にできない場合は、この機能をバイパスするためにtemp_file_thresholdを0に設定する必要があります。

注意：暗号化してアップロードする前に、必ずファイルを圧縮してください。

1. 非組み込み暗号化を使用して復号化すると、ファイルは.gzや.bz2などの圧縮形式に戻ります。

2. 組み込み暗号化を使用して復号化すると、ファイルは生データに戻ります。