Treasure Dataは、サーバーサイドのログとイベントを収集するためのサーバーサイドエージェントであるTreasure Agent(td-agent)を提供しています。td-agentを使用して継続的にデータをインポートできます。
Treasure Dataの基本的な知識。
td-agent 3、Fluentd v0.14(v1.0)シリーズを使用してください。
実践的な体験については、クエリの実行と結果のダウンロードをご覧ください。
Treasure agent(td-agent)は、データ収集デーモンです。さまざまなデータソースからログを収集し、Treasure Dataにアップロードします。
ログは通常、時間やサイズに基づいて時間単位または日単位でローテーションされます。このシステムは、さらなる分析のためにバッチインポートする必要がある多数の大きなログファイルを迅速に生成します。これは時代遅れのアプローチです。ログは、ファイルではなく、継続的に生成される_STREAMS_として扱う方が適しています。
バルクインポートはサポートされていますが、td-agentを介してデータを継続的にインポートすることをお勧めします。