Skip to content
Last updated

Microsoft Azure Event Grid ストリーミングインポート連携

この機能はベータ版です。詳細については、カスタマーサクセス担当者にお問い合わせください。

Azure Event Gridは、多数の異なるAzureサービスやアプリケーション間でイベントを簡単に管理できる、完全マネージド型のイベントサービスです。イベント駆動型アプリケーション向けのパフォーマンスとスケールを実現します。 この連携を設定することで、Azure Event Gridトピックに公開されたあらゆるイベントをほぼリアルタイムでストリーミングし、さらなる意思決定のためにTD CDPで利用できます。

前提条件

制限事項

  • カスタムイベントを正しく処理するには、*"data": {}*を含める必要があります。
  • SIDは、ASCII文字、数字、特殊記号の組み合わせで、最小10文字以上である必要があります。
  • コネクタタイプごとにアカウントあたり2つのソース作成に制限があります。
  • 重複イベントは許可されています。
  • データベースとテーブルは事前に作成する必要があります(ユーザーがマスターアカウントを持っている場合を除く)。
  • Azure Event Grid delivery and retry - Azure Event Gridにあるすべての制限と制約が適用されます。
  • Plazmaでデータが利用可能になるまでの予想ターゲットレイテンシは5~10分です。
  • TDユーザーは、Azure Event Grid Streaming接続を作成するためにWrite-only API keyを使用する必要があります。
  • 新しく作成されたソースがデータのストリーミングを開始するまで数秒の遅延があります。

TD Consoleを使用した接続の作成

新しい接続を作成する

Treasure Dataでは、クエリを実行する前にデータ接続を作成して設定する必要があります。データ接続の一部として、統合にアクセスするための認証を提供します。

  1. TD Consoleを開きます。

  2. Integrations Hub > Catalogに移動します。

  3. Azure Event Grid Data Streamingを検索して選択します。

  4. Create Authenticationを選択します。

次のダイアログが開きます。

以下のパラメータを編集します:

ParametersDescription
Security Identifiers (SIDs)RequiredSIDは、ユーザーがAzure Event Grid webhookの設定と認証モデルの作成の両方で設定する、ローテーション可能なアクセストークンです。ASCII文字、数字、特殊記号の組み合わせで、最小10文字以上である必要があります。カンマ区切りのトークンリストを入力してください。
TD API KeyRequiredデータベースにアクセスするためのTD write-only API Key。 Getting Your API Keysを参照してください。

Security Identifiers(SIDs)はマスクされます。今後のローテーションのために、SIDをパスワードマネージャーに安全に保管することをお勧めします。

  1. Continueを選択します。

  2. 接続の名前を入力します。

  3. Doneを選択します。

Treasure Dataへのデータ転送

認証接続のステップ後、自動的に認証リストページに移動します。

  1. 作成した接続を検索します**。**

  2. New Sourceを選択します。

  3. Create SourceモデルでConnectionダイアログが開きます。

  4. Data Transfer NameフィールドにSourceの名前を入力します**。**

  5. Nextをクリックします。Data Settingsダイアログが開きます。

  6. 以下のパラメータを編集します:

ParametersRequiredDescription
DatastoreRequiredPlazmaが利用可能なオプションです。
TagsOptionalこのソースを見つけるためにタグを使用できます。
DatabaseRequiredデータをインポートするTreasure Data内のデータベースを指定します。
TableRequiredデータを配置するデータベース内のテーブルを指定します。
  1. Createを選択します。

Source Idをコピーする

Source ID(UUID v4)は、ソース作成時に発行されます。

悪用を防ぐため、Source Idは権限のない者に開示しないでください。

  1. ソースを作成すると、自動的にソースリストページに移動します。

作成したソースを検索します。

同じ行の「...」をクリックし、Copy Unique IDをクリックします。このUnique IDは、Azure Event Gridにエンドポイントを登録する際に必要なSource IDです。

Azure Event Gridでのエンドポイント登録

  1. Azure Event Gridストリーミングコネクタでイベントを処理するには、有効なSource IDでAzure Event Gridにエンドポイントを登録する必要があります。Azure Event Gridで、Event Grid TopicのCreate Event Subscriptionを行います。

  2. ENDPOINT DETAILSにAzure Event Gridエンドポイントを入力します。米国のAzure Event Grid取り込みエンドポイントは次のとおりです:https://aeg-in-streaming.treasuredata.com/v1/task/{source id} 他の地域のホスト名は異なりますが、同じパターンに従います。たとえば、日本の場合は次を使用します:https://aeg-in-streaming.treasuredata.co.jp/v1/task/{source id}

  3. Security Identifiers (SIDs)を静的なAuthorizationヘッダーとして指定します。認証作成時に指定したSecurity Identifiers (SIDs)のリストからSIDを登録して、ローテーションを有効にします。Delivery PropertiesタブのPROPERTIES SENT ON EVENT DELIVERYセクションで、SIDをAuthorization: BEARER $SIDヘッダーとして指定します。完全な手順については、Azure Event Gridのクイックスタートガイドを参照してください Quickstart Portal

  4. お客様は、オプションでEvent Grid Subscriptionのイベントフィルタリングを指定できます。フィルタリングには3つのオプションがあります:

  • Event types
  • Subject begins with or ends with
  • Advanced fields and operators 完全な手順については、Azure Event Gridドキュメントを参照してください Event Filtering

データ取り込み

コネクタは、ストリーミングデータソースの作成が成功した後、最初のイベントがトリガーされるとすぐに、TDでのイベントデータ取り込みを開始できます。