Skip to content
/
.NET Apps Import Integrat...
Last updated

.NET Apps Import Integration

Treasure Dataは、.NETアプリケーションからデータをストリーミングするために、サーバーサイドのログとイベントを収集するtd-agentを提供しています。

前提条件

  • .NETの基本知識
  • Treasure Dataの基本知識

Treasure Data IntegrationのIPホワイトリスト

セキュリティポリシーでIPホワイトリストが必要な場合は、接続を成功させるためにTreasure DataのIPアドレスを許可リストに追加する必要があります。

静的IPアドレスの完全なリストは、地域別に以下のリンクからご確認ください: https://api-docs.treasuredata.com/en/overview/ip-addresses-integrations-result-workers/

アカウントの地域が不明な場合、またはさらなる支援が必要な場合は、カスタマーサクセス担当者またはテクニカルサポートチームにお問い合わせください。

td-agentのインストール

アプリケーションサーバーにtd-agentをインストールします。td-agentはアプリケーションサーバー内に配置され、アプリケーションログのクラウドへのアップロードに専念します。

td-agentはTCP/HTTP経由でレコードを受信し、レコードをバッファリングし、5分ごとにデータをクラウドにアップロードします。デーモンはローカルノードで実行されるため、ロギングのレイテンシーは無視できます。

td-agentのインストールオプション

td-agentをインストールするには、環境に応じて以下のコマンドのいずれかを実行します。エージェントプログラムは、rpm/deb/dmgなどの各プラットフォームのパッケージ管理ソフトウェアを使用して自動的にインストールされます。

RHEL/CentOS 5,6,7

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

Ubuntu and Debian

# 18.04 Bionic
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-bionic-td-agent3.sh | sh
# 16.04 Xenial (64bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent3.sh | sh

EOLバージョンのレガシーサポートはまだ利用可能です

# 14.04 Trusty
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-trusty-td-agent3.sh | sh
# 12.04 Precise
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-precise-td-agent3.sh | sh
# Debian Stretch (64-bit only) $ curl -L https://toolbelt.treasuredata.com/sh/install-debian-stretch-td-agent3.sh | sh
# Debian Jessie (64-bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-debian-jessie-td-agent3.sh | sh
# Debian Squeeze (64-bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-debian-squeeze-td-agent2.sh | sh

Amazon Linux

Amazon Linux 1またはAmazon Linux 2を選択できます。Installing td-agent on AWS Linuxを参照してください。

MacOS X 10.11+

$ open 'https://td-agent-package-browser.herokuapp.com/3/macosx/td-agent-3.1.1-0.dmg'

MacOS X 10.11.1（El Capitan）では、いくつかのセキュリティ変更が導入されました。td-agentがインストールされた後、/Library/LaunchDaemons/td-agent.plistファイルを編集して、/usr/sbin/td-agentを**/opt/td-agent/usr/sbin/td-agent**に変更してください。

Windows Server 2012+

Windowsのインストールには、以下の詳細な手順が必要です:

Opscode Chef Repository

リポジトリの詳細を読むことができます。

$ echo 'cookbook "td-agent"' >> Berksfile
$ berks install

AWS Elastic Beanstalkもサポートされています。Windowsはサポートされていません。

/etc/td-agent/td-agent.confの変更

/etc/td-agent/td-agent.confファイルでapikeyオプションを設定して、APIキーを指定します。

# Input from HTTP
source
  type http
  port 8888
</source>

# Treasure Data Output
<match td.*.*>
  type tdlog
  endpoint api.treasuredata.com
  apikey YOUR_API_KEY
  auto_create_table
  buffer_type file
  buffer_path /var/log/td-agent/buffer/td
  use_ssl true
</match>

YOUR_API_KEYは、実際のAPIキー文字列に置き換えてください。APIキーは、TD Consoleのプロファイルから取得できます。書き込み専用APIキーの使用を推奨します。

以下の行を追加した後、エージェントを再起動してください:

# Linux
$ sudo /etc/init.d/td-agent restart

# MacOS X
$ sudo launchctl unload /Library/LaunchDaemons/td-agent.plist
$ sudo launchctl load /Library/LaunchDaemons/td-agent.plist

td-agentは、ポート24224経由でデータを受け入れ、データをバッファリング（var/log/td-agent/buffer/td）し、自動的にクラウドにデータをアップロードします。

HTTP経由でレコードを送信

以下のコードスニペットを使用して、HTTP経由でローカルのTreasure Agentにレコードを送信します。

using System;
using System.Net;
using System.IO;
using System.Text;
using System.Web;

namespace CSharpTreasureAgentExample
{
  class MainClass
  {
    public static void Main (string[] args)
    {
      string json_body = "{\"action\":\"login\",\"user\":2}";
      string tag = "td.production.login";

      // Prepare HTTP Request Object
      HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://localhost:8888/" + tag);
      request.Method = "POST";
      request.ContentType = "application/x-www-form-urlencoded";
      json_body = "json=" +  System.Web.HttpUtility.UrlEncode(json_body);
      byte[] bytes = Encoding.ASCII.GetBytes(json_body);
      request.ContentLength = bytes.Length;

      // Write the Request
      Stream stream = request.GetRequestStream();
      stream.Write(bytes, 0, bytes.Length);
      stream.Flush();
      stream.Close();

      // Receive the Response
      HttpWebResponse response = (HttpWebResponse)request.GetResponse();
      if (response.StatusCode == HttpStatusCode.OK) {
        using (StreamReader reader = new StreamReader (response.GetResponseStream ())) {
          Console.WriteLine (reader.ReadToEnd ());
        }
      }
      response.Close();
    }
  }
}

データインポートの確認

プログラムを実行します。

SIGUSR1シグナルを送信すると、td-agentのバッファがフラッシュされます。アップロードは即座に開始されます。

# Linux
$ kill -USR1 `cat /var/run/td-agent/td-agent.pid`

# MacOS X
$ sudo kill -USR1 `sudo launchctl list | grep td-agent | cut -f 1`

TD Consoleから

データが正常にアップロードされたことを確認するには、TD ConsoleのDatabasesビューでデータセットを確認してください。

CLIから

または、CLIクライアントがある場合は、td tablesコマンドを発行します。

$ td tables
+------------+------------+------+-----------+
| Database   | Table      | Type | Count     |
+------------+------------+------+-----------+
| production | login      | log  | 1         |
+------------+------------+------+-----------+

本番デプロイ

td-agentの高可用性構成

高トラフィックのウェブサイト（5つ以上のアプリケーションノード）の場合、td-agentの高可用性構成を使用して、データ転送の信頼性とクエリパフォーマンスを向上させます。

td-agentの監視

td-agent自体の監視も重要です。td-agentの一般的な監視方法については、Monitoring td-agentを参照してください。

td-agentは、Fluentdプロジェクトの下で完全にオープンソース化されています。

Previous page
Next page