Treasure DataのTreasure Agent(td-agent)は、時々「Failed to upload to TreasureData: Import failed」というエラーが発生します。考えられる原因はいくつかあります:
アップロード中にネットワークが不安定になった。
Treasure DataのAPIが予期しないネットワーク/ノードの状態により接続をシャットダウンした。
td-agentには、これらのケースに対する堅牢な再試行メカニズムがあるため、Treasure Dataへのデータインポートを継続します。数回の再試行後、ログに「retry succeeded」というメッセージが表示されるはずです。
同じエラーが続き、再試行制限を超えた場合は、ネットワーク以外の問題です。support@treasure-data.comまでご連絡ください。
データをインポートできない一般的な理由は次のとおりです。
ネットワークが稼働しており、外部ネットワークへのアクセスが許可されていることを確認してください。
データに2e64より大きい数値が含まれている場合は、tdコマンド/td-agentを最新バージョンにアップグレードする必要があります。代わりにFluentdを使用している場合は、Fluent-plugin-tdをバージョン0.10.15以降にアップグレードしてください。
td-agentの実行には、いくらかのエージェントオーバーヘッドが関連しています。リソース消費量は次のように概算されます:
常駐メモリ(実際に使用されるRAM): 50MB
CPUランタイム: 平均ランタイムの2%未満 + ワークロード
ディスク: Linux 120MB + ファイルバッファ(設定可能)
td-agentが遅いと思われる場合は、「5 Tips to Optimize Fluentd Performance」をご覧ください。
問題が発生している場合は、/etc/default/td-agentに次の行を追加して詳細ログを有効にしてください。
DAEMON_ARGS=-vvデーモンを再起動してください。これで、/var/log/td-agent.logでより詳細なログを確認できます。
td-agentログに次のメッセージが表示される場合があります。
tdlog plugin will change the API endpoint from api.us01.treasure-data.com to api.us01.treasuredata.com
If you want to keep api.treasure-data.com, set 'endpoint api.treasure-data.com' in tdlog configurationこのメッセージは、api.treasure-data.comへのネットワークアクセスの制御を変更するユーザー向けです。APIエンドポイントに基づくアクセス制限を設定していない場合は、この警告を無視してください。