米Googleは2014年1月23日、ウェブを巡回するクローラの User-Agent を整理してウェブマスターが制御しやすいように改めることを公式ブログで発表した。従来、スマホ用クローラと呼ばれていた"Googlebot-Mobile" for smartphones が『引退』し、通常クローラの User-Agent 同様に "Googlebot" に変更される。
スマホ向け Googlebot User-Agent 文字列を変更
今回の変更は3～4週間以内に実施される。標準 Googlebot（パソコン向け Googlebot）もスマホ用 Googlebot も User-Agent は "Googlebot"になるが、文字列の中に Mobile という表記だけ残す。
具体的には、次のような User-Agent に改められる。
【新しいスマホ用 Googlebot User-Agent】Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
廃止となる User-Agent は次の通り。
【利用が中止される User-Agent】Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
変更になるのは スマホ向け Googlebot の User-Agent 名称だけであり、標準 defalt Googlebot に変更はない。また、Googlebot-Mobile は従来型携帯電話向けウェブページのクローラとして引き続き利用される。
従来型携帯電話向けGooglebot UA、次の2つのボットは引き続き利用される。
【引き続き利用される携帯電話用 Googlebot UA】SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
変更理由は「ウェブマスターに混乱を招いたため」
Google は今回の変更に至った経緯について次のように説明している。
従来型携帯電話とスマートフォンは全く異なる端末性能を有しており、従ってそれぞれの端末向けに最適化されたウェブページを適切にクロールする必要がある。同社はこれまで従来型携帯向けとスマホ向けページをそれぞれ異なるクローラを用いてインデックスしてきたが、どちらのクローラも Googlebot-Mobile という User-Agent を使ってきた。
この結果、本来はウェブマスターが従来型携帯電話用 Googlebot-Mobile だけをブロックする意図で設定したにもかかわらず、実際にはスマホ用 Googlebot-Mobile をブロックしてしまうといった事例が挙がってきたという。"Googlebot-Mobile"の曖昧さが原因で、Google がスマホ用サイトを適切に登録したり、クロールしたサイトがスマホ用に最適化されていると判断することが不可能になってしまったという。
こうした問題を解決するために、スマホ用クローラを標準クローラと同様に Googlebot に統一すると共に（端末性能が劣る）従来型携帯電話用のクローラと明確に区別することにより、ウェブマスターが意図した通りにクローラの制御を行えるようにする狙いがある。
スマホ用 googlebot User-Agent変更に伴う影響は 0.001%
Googleは今回のスマホ用 Googlebot の User-Agent 文字列変更に伴う影響は、0.001%以下と試算している。User-Agent の文字列が変更されるだけであり、検索アルゴリズムに変更が加えられるわけではなく、従って順位変動も無視できる程度。
Googlebot User-Agent は次のように整理される
おさらいをすると…
・User-Agent 文字列の変更が行われる
Googlebot：PC及びスマホ ※スマホ用は文字列の中にMobileは残される
Googlebot-Mobile：従来型携帯電話
・User-Agent 文字列の変更の話。検索順位や検索アルゴリズムが変更になる話ではない
となる。User-Agent 文字列は Googlebot になるので、スマホ用クローラも robots.txt や METAタグ、HTTPヘッダー等における ディレクティブは Googlebot のものに従う。
A new Googlebot user-agent for crawling smartphone content Thursday, Januar
http://googlewebmastercentral.blogspot.hu/2014/01/a-new-googlebot-user-agent-for-crawling.html
解説：なぜ今更 スマホ/携帯電話用 Googlebot User-Agent 変更するの？
スマホ及び従来型携帯電話用 Googlebotを判定する場合は、UA文字列Googlebot-Mobileを利用するのではなく、iPhoneやSAMSUNG-SGH-E250/1.0やDoCoMo/2.0を使います。ところが現実にはGooglebot-Mobileを用いてUA判定するサイト管理者がいるため、スマホ用コンテンツがクロールできない事態に陥る事例が後を絶ちません。端末特性的には「パソコン」と「モバイル」＝携帯＆スマホなのですが、クローラ的にはブラウザ性能が重要。ブラウザ性能的には「パソコンとスマホ」と「携帯」の区別が適当なので、Googlebot UA も前者が Googlebot に、後者が Googlebot-Mobile にしましょうという話です。めでたしめでたし。
#
本記事は速報として公開しました。執筆時点において Google から詳細な説明がないため、未だ不明点がいくつかあります。新たな情報が判明次第、別途詳細解説記事を公開する予定です。（2014/01/24 0:30)
#
細かな修正を行いました （2014/01/24 9:00)
