Google Webmaster Central Blogにて公式発表され、アイレップの渡辺さんがいち早く翻訳＆解説を出していました。
スマホ向け Googlebot User-Agentが変更され、一本化されるようです。
【変更後】The new Googlebot for smartphones user-agent:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
【変更前】The Googlebot-Mobile for smartphones user-agent we will be retiring soon:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
渡辺さんのつぶやきで纏めも有りました。渡辺さん、さすが便利親切！
要約すると、デバイス判定の時に"Googlebot-Mobile"を使わないほうが良いのに実際にはこれで判定しているサイトがあるから、スマホ向けサイトがクロールされなくなっちゃったんで名前変えるよ であってるのかな。 もう眠い
— Takahiro Watanabe (@takahwata) January 23, 2014
この件に関しては
一旦寝よう。起きるころには @tsuj がきっと解説ツイートしてくれていると信じてる
— Takahiro Watanabe (@takahwata) January 23, 2014
と辻さんに振られているようなので期待して待ちましょう。フォローしとくと良いかも！https://twitter.com/tsuj
robots.txtでクローラーを拒絶したい場合は以下になります。
● PC&スマホ
User-agent: Googlebot
Disallow: /
● 旧携帯端末
User-agent: Googlebot-Mobile
Disallow: /
実行されるのは3~4週間で、影響範囲0.001%以下との事ですが、それ以前にGoogleはスマートフォン重視の評価により傾倒して行くと思われます。というか、もう始まっているのではないかと。
無責任な発言で定評のある（？）このブログ”ならでは”の書き方をすると、スマホもPCも変わりなくするために、検索クエリの解釈が変更されたケースが続出しているのではないかと。ボットが変わる以前に、もうハミングバードでの戦いは始まっている感じがします。
