# Google CrawlerのWeb Crawlerアクセス

Web crawlerは、人々がwebをより効率的に検索できるようにインターネットにインデックスを付けるために使用されます。

* [前提条件](#prerequisites)
* [Google CrawlerのUser-Agent](#user-agents-for-google-crawlers)


# 前提条件

* JavaScriptとHTMLの基礎知識
* Treasure Dataの基礎知識
* Treasure Data JavaScript SDKの基礎知識


Treasure Dataは、本番環境で使用を開始する前に、サイトでTreasure Data JavaScript SDK version 3を使用した新機能や機能の実装を検証することをお勧めします。cookieの管理方法が異なります。これらの記事のほとんどを参照する際は、提案されたeventコレクターとTreasure Data JavaScript SDK version 3の呼び出しをソリューション内で定義する必要があることに注意してください。たとえば、//cdn.treasuredata.com/sdk/2.5/td.min.jsを//cdn.treasuredata.com/sdk/3.0.0/td.min.jsに変更します。

# Google CrawlerのUser-Agent

Treasure Data JavaScript SDKはすべてのページビューを追跡するため、通常、ローデータにはweb crawlerからの多くのアクセスが含まれています。_td_browser_パラメータを使用して、アクセスがbrowserから来ているかどうかを認識できます。

_td_browser_はuser agentによって認識され、SDK BackendサーバーでSSL動作します。_td_browser_は、各[Google Crawler](https://support.google.com/webmasters/answer/1061943?hl=en)に対して以下の値を表示します。

| **Crawler** | **user-agents** | **HTTP(S) requestsのuser-agent** | **td_browser** |
|  --- | --- | --- | --- |
| Googlebot(Google Web search) | Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.md) | "Googlebot" |
| Googlebot(Google Web search) | Googlebot | (rarely used): Googlebot/2.1 (+http://www.google.com/bot.md) | "Googlebot" |
| Googlebot News | Googlebot-News (Googlebot) | Googlebot-News | "Other" |
| Googlebot Images | Googlebot-Image (Googlebot) | Googlebot-Image/1.0 | "Other" |
| Googlebot Video | Googlebot-Video (Googlebot) | Googlebot-Video/1.0 | "Other" |
| Google Mobile(feature phone) | Googlebot-Mobile | SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.md) | "UP.Browser" |
| Google Mobile(feature phone) | Googlebot-Mobile | DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.md) | "Other" |
| Google Smartphone | Googlebot | Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.md) | "Googlebot" |
| Google Mobile AdSense | Mediapartners-Google | [various mobile device types] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.md) | "Other" |
| Google Mobile AdSense | Mediapartners (Googlebot) | [various mobile device types] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.md) | "Other" |
| Google AdSense | Mediapartners-Google | Mediapartners-Google | "Other" |
| Google AdSense | Mediapartners (Googlebot) | Mediapartners-Google | "Other" |
| Google AdsBot landing page quality check | AdsBot-Google | AdsBot-Google (+http://www.google.com/adsbot.md) | "Other" |