Treasure Dataは、サーバーサイドのログやイベントを収集し、Ruby on Railsアプリケーションからデータをシームレスにインポートするためにtd-agentを提供しています。
- Ruby、Rails、Gems、Bundlerの基本知識
- Treasure Dataの基本知識
- Ruby 2.0以上(ローカルテスト用)
アプリケーションサーバーにtd-agentをインストールします。td-agentはアプリケーションサーバー内に配置され、アプリケーションログのクラウドへのアップロードに重点を置いています。
td-logger-rubyライブラリにより、Ruby on Railsアプリケーションはローカルのtd-agentにレコードを送信できるようになります。td-agentは、レコードを受信し、バッファリングして、5分ごとにデータをクラウドにアップロードします。デーモンはローカルノードで実行されるため、ログの遅延は無視できるほど小さくなります。
td-agentをインストールするには、環境に基づいて以下のいずれかのコマンドを実行します。エージェントプログラムは、各プラットフォームのパッケージ管理ソフトウェア(rpm/deb/dmgなど)を使用して自動的にインストールされます。
$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh# 16.04 Xenial (64bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent3.sh | sh
# 14.04 Trusty
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-trusty-td-agent3.sh | sh
# 12.04 Precise
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-precise-td-agent3.sh | sh
# Debian Stretch (64-bit only) $ curl -L https://toolbelt.treasuredata.com/sh/install-debian-stretch-td-agent3.sh | sh
# Debian Jessie (64-bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-debian-jessie-td-agent3.sh | sh
# Debian Squeeze (64-bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-debian-squeeze-td-agent2.sh | shAmazon Linux 1またはAmazon Linux 2を選択できます。Installing td-agent on Amazon Linuxを参照してください。
$ open 'https://td-agent-package-browser.herokuapp.com/3/macosx/td-agent-3.1.1-0.dmg'MacOS X 10.11.1 (El Capitan)では、いくつかのセキュリティ変更が導入されています。td-agentのインストール後、/Library/LaunchDaemons/td-agent.plistファイルを編集して、/usr/sbin/td-agentを**/opt/td-agent/usr/sbin/td-agent**に変更してください。
Windowsのインストールには、以下に詳述されている手順が必要です:
リポジトリについての詳細を参照できます。
$ echo 'cookbook "td-agent"' >> Berksfile
$ berks installAWS Elastic Beanstalkもサポートされています。Windowsはサポートされていません。
/etc/td-agent/td-agent.confファイルでapikeyオプションを設定して、APIキーを指定します。
# Input from Logging Libraries
<source>
type forward
port 24224
</source>
# Treasure Data Output
<match td.*.*>
type tdlog
endpoint api.treasuredata.com
apikey YOUR_API_KEY
auto_create_table
buffer_type file
buffer_path /var/log/td-agent/buffer/td
use_ssl true
</match>YOUR_API_KEY should be your actual apikey string. You can retrieve your API key from your profiles in TD Console. Using a write-only API key is recommended.
以下の行を追加した後、エージェントを再起動してください:
# Linux
$ sudo /etc/init.d/td-agent restart
# MacOS X
$ sudo launchctl unload /Library/LaunchDaemons/td-agent.plist
$ sudo launchctl load /Library/LaunchDaemons/td-agent.plisttd-agentは、ポート24224経由でデータを受け入れ、データをバッファリングし(var/log/td-agent/buffer/td)、自動的にデータをクラウドにアップロードします。
Gemfileに'td' gemを追加します。
gem 'td', "~> 0.10.6"config/treasure_data.ymlファイルを次のように変更します:
production:
agent: "localhost:24224"
tag: td.production_database_name
debug_mode: false
development:
agent: "localhost:24224"
tag: td.development_database_name
debug_mode: false
test:アプリケーションに適切なログコードを挿入します。
# Example1: login event
TD.event.post('login', {:uid=>123})
# Example2: follow event
TD.event.post('follow', {:uid=>123, :from=>'TD', :to=>'Heroku'})
# Example3: pay event
TD.event.post('pay',
{:uid=>123, :item_name=>'Stone of Jordan',
:category=>'ring', :price=>100, :count=>1})プログラムを実行します。
$ ruby test.rbSIGUSR1シグナルを送信すると、td-agentのバッファがフラッシュされます。アップロードは即座に開始されます。
# Linux
$ kill -USR1 `cat /var/run/td-agent/td-agent.pid`
# MacOS X
$ sudo kill -USR1 `sudo launchctl list | grep td-agent | cut -f 1`データが正常にアップロードされたことを確認するには、データセットを確認してください。
または、CLIがある場合はtd tablesコマンドを使用します。
$ td tables
+------------+------------+------+-----------+
| Database | Table | Type | Count |
+------------+------------+------+-----------+
| test_db | login | log | 1 |
| test_db | follow | log | 1 |
| test_db | pay | log | 1 |
+------------+------------+------+-----------+unicorn、thin、mongrelなどの使用を推奨します。他のセットアップは完全には検証されていません。
高トラフィックのWebサイト(5つ以上のアプリケーションノード)では、データ転送の信頼性とクエリパフォーマンスを向上させるために、td-agentの高可用性構成を使用してください。
td-agent自体の監視も重要です。td-agentの一般的な監視方法については、td-agentの監視を参照してください。
td-agentは、Fluentdプロジェクトの下で完全にオープンソース化されています。