Skip to content
/
PHPアプリケーションインポート統合
Last updated

PHPアプリケーションインポート統合

Treasure Dataは、サーバーサイドのログとイベントを収集し、PHPアプリケーションからTreasure Agent経由でデータをシームレスにインポートするためのtd-agentを提供しています。

前提条件

  • PHPの基本的な知識。
  • TD Toolbeltを含むTreasure Dataの基本的な知識。
  • PHP 5.3以上(ローカルテスト用)。

fluent-logger-phpライブラリはHerokuでは動作しません(理由はこちら)。

td-agentのインストール

アプリケーションサーバーにtd-agentをインストールします。td-agentはアプリケーションサーバー内に配置され、アプリケーションログのクラウドへのアップロードに重点を置いています。

fluent-logger-phpライブラリにより、PHPアプリケーションはローカルのtd-agentにレコードを送信できます。td-agentは5分ごとにデータをクラウドにアップロードします。デーモンはローカルノードで実行されるため、ログの遅延は無視できるレベルです。

td-agentインストールオプション

td-agentをインストールするには、環境に応じて以下のいずれかのコマンドを実行します。エージェントプログラムは、rpm/deb/dmgなどの各プラットフォームのパッケージ管理ソフトウェアを使用すると自動的にインストールされます。

RHEL/CentOS 5,6,7

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

UbuntuおよびDebian

# 18.04 Bionic
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-bionic-td-agent3.sh | sh
# 16.04 Xenial (64bit only)
$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent3.sh | sh

Amazon Linux

Amazon Linux 1またはAmazon Linux 2を選択できます。AWS LinuxへのTreasure Agentのインストールを参照してください。

MacOS X 10.11+

$ open 'https://td-agent-package-browser.herokuapp.com/3/macosx/td-agent-3.1.1-0.dmg'

MacOS X 10.11.1 (El Capitan)では、セキュリティの変更が導入されています。td-agentのインストール後、/Library/LaunchDaemons/td-agent.plistファイルを編集して、/usr/sbin/td-agentを**/opt/td-agent/usr/sbin/td-agent**に変更してください。

Windows Server 2012+

Windowsのインストールには、以下に詳述されている手順が必要です。

Opscode Chefリポジトリ

$ echo 'cookbook "td-agent"' >> Berksfile
$ berks install

AWS Elastic Beanstalkもサポートされています。現在、Windowsはサポートされていません。

/etc/td-agent/td-agent.confの変更

次に、apikeyオプションを設定してAPIキーを指定します。APIキーは、TD ConsoleのプロフィールページからTreasure Data Consoleで確認できます。

# Unix Domain Socket Input
<source>
  type unix
  path /var/run/td-agent/td-agent.sock
</source>

# Treasure Data Output
<match td.*.*>
  type tdlog
  endpoint api.treasuredata.com
  apikey YOUR_API_KEY
  auto_create_table
  buffer_type file
  buffer_path /var/log/td-agent/buffer/td
  use_ssl true
</match>

YOUR_API_KEY は、実際の apikey 文字列に置き換える必要があります。API キーは、TD Console のプロファイルから取得できます。Write-only API key の使用が推奨されます。

以下の行が設定されたら、エージェントを再起動してください。

# Linux
$ sudo /etc/init.d/td-agent restart

# MacOS X
$ sudo launchctl unload /Library/LaunchDaemons/td-agent.plist
$ sudo launchctl load /Library/LaunchDaemons/td-agent.plist

td-agentは現在、ポート24224経由でデータを受け入れ、データをバッファリングし(var/log/td-agent/buffer/td)、自動的にデータをクラウドにアップロードします。

fluent-logger-phpの使用

fluent-logger-phpを使用するには、パッケージマネージャーとしてComposerを使用します。まず、ディレクトリに以下の内容でcomposer.jsonを作成します。

{
  "require": {
    "fluent/logger": "v1.0.0"
  }
}

次に、Composerをインストールし、必要なライブラリをインストールします。

$ curl -sS https://getcomposer.org/installer | php
$ php composer.phar install

次に、以下のように初期化してレコードを送信します。

<?php
require_once __DIR__.'/vendor/autoload.php';
use Fluent\Logger\FluentLogger;
$logger = new FluentLogger("unix:///var/run/td-agent/td-agent.sock");
$logger->post("td.test_db.test_table", array("hello"=>"world"));
$logger->post("td.test_db.follow", array("from"=>"userA", "to"=>"userB"));

データインポートの確認

前述のプログラムを実行します。

$ php test.php

SIGUSR1シグナルを送信すると、td-agentのバッファがフラッシュされます。アップロードはすぐに開始されます。

# Linux
$ kill -USR1 `cat /var/run/td-agent/td-agent.pid`

# MacOS X
$ sudo kill -USR1 `sudo launchctl list | grep td-agent | cut -f 1`

データが正常にアップロードされたことを確認するには、次のようにtd tablesコマンドを実行します。

$ td tables
+------------+------------+------+-----------+
| Database   | Table      | Type | Count     |
+------------+------------+------+-----------+
| test_db    | test_table | log  | 1         |
| test_db    | follow     | log  | 1         |
+------------+------------+------+-----------+

post()の最初の引数によって、データベース名とテーブル名が決定されます。td.test\_db.test\_tableを指定すると、データはデータベース*test_db*内のテーブル*test_table*にインポートされます。これらはアップロード時に自動的に作成されます。

本番デプロイメントのヒント

ApacheとMod_phpを使用する

ApacheとMod_phpの使用を推奨します。その他のセットアップは完全に検証されていません。

Apache prefork MPMを使用する

Apache prefork MPMを使用してください。worker MPMなどの他のMPMは使用しないでください。現在の設定はapachectl -Vコマンドで確認できます。

$ apachectl -V | grep MPM:
Server MPM:     Prefork

MaxRequestsPerChildを設定する

Apacheの設定ファイルでMaxRequestsPerChildを設定して、PHPプロセスを定期的に再起動することを推奨します。

<IfModule mpm_prefork_module>
  StartServers          32
  MinSpareServers       32
  MaxSpareServers       32
  MaxClients            32
  MaxRequestsPerChild 4096
</IfModule>

MaxRequestsPerChildをゼロに設定しないでください。

本番デプロイメント

td-agentの高可用性構成

高トラフィックのウェブサイト(5つ以上のアプリケーションノード)の場合、データ転送の信頼性とクエリパフォーマンスを向上させるために、td-agentの高可用性構成を使用してください。

td-agentの監視

td-agent自体の監視も重要です。td-agentの一般的な監視方法については、以下のドキュメントを参照してください。

td-agentはFluentdプロジェクトの下で完全にオープンソース化されています。

FAQ

PHPアプリケーションに「Resource temporarily unavailable」警告メッセージが表示される

この問題は、比較的大量のトラフィックがある場合、または古いLinuxカーネルバージョンを使用している場合に発生します。Linuxカーネルを少し調整する必要があります。

最大ファイルディスクリプタ数を増やす

まず、プロセスごとの最大ファイルディスクリプタ数を増やします。ulimit -nコマンドを実行して結果が1024と表示された場合は、以下の手順に従って65535に増やしてください。

カーネルパラメータの最適化

以下のパラメータを/etc/sysctl.confファイルに追加します。sysctl -wと入力するか、ノードを再起動して変更を有効にします。root権限が必要です。

net.core.somaxconn = 1024
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240    65535

次のステップ

従来のRDBMSよりも柔軟なスキーマメカニズムを提供しています。クエリには、HiveとPrestoのクエリ言語を活用しています。

Previous page
Next page