米Googleウェブスパム・チームのMatt Cutts(マット・カッツ)氏がTwitterにて、2011年はクローキング行為の監視・検出を強化していく方針を表明した。
Google will more at cloaking in Q1 2011. Not just page content matters; avoid different headers/redirects to Googlebot instead of users. [Matt Cutts, Google, 12/27/2010
クローキングとは、訪問者とクローラそれぞれに異なるコンテンツを表示する仕組みのこと(本文最後の「ことば」参照)。従来、Googleは、ページのコンテンツ全体を入れ替える、一般的なクローキングの対策を強化してきたが、ツイートでは、リダイレクトやヘッダーをgooglebot 用に通知するタイプのクローキング監視を強化する方針を示している。
ユーザ参加・投稿により成立するUGC系サイトやマイクロブログは、大量に生成されたコンテンツを機械的に整理するために、タグクラウドやレコメンド、ページネーション、アーカイブリンクなど、様々な機能を活用している。あるいは、サイト内検索の結果ページ自体がクロールされるように工夫していることもある。しかしながら、これらの機能を通じて生成・整理されるページの多くは互いに類似したページであることが多いため、SEOを考慮して特定のページにリダイレクトさせたり、訪問者のUAを識別して異なるURL構造のページに転送する手法が採用されているケースがある。
これらの手法の中には、合理的には使用において全く問題がなさそうなケースもあるが、だからといってそれらの方法を認めてしまうと、必ず悪用する人間が出てくるため、放置もできないというジレンマがある。Googleは従来から、基本的に「意図」ではなく「技術」に着目して、(Google基準の)スパムの判断を行うというスタンスをとっているため、今回はその判断の範囲を拡大していくと考えるのが妥当だろう。
なお、Googleは自身の検索サービスの改善に結びつくクローキングは例外的に認めている。たとえば、記事閲覧時に会員登録や行動を必要とするニュースメディアでも、Google経由で訪問した時は記事を直接表示して良いというFirst Click Free(ファーストクリックフリー)というサービスや、ランディングページのパフォーマンスを測定するためのA/Bテストなどだ。また、ユーザのアクセス元IPアドレスやクッキー、ユーザログインの有無によって表示するコンテンツを変更するケースも、googlebot に対しても同様に(たとえば"地域該当なし"としてレギュラーの)コンテンツを表示するような作法をとっていれば問題はないというスタンスを示している。
なお、PC用サイトとモバイル/スマートフォン用サイトなど、デバイスに応じてリダイレクトする行為については、Googleは「問題ない」ことを公式ブログで認めている。したがって、本件についてモバイルとPC用サイトのリダイレクトについて再考する必要はないことを付け加えておく。
ことば:クローキングとは?
クローキングとは、訪問者用のページとクローラ用のページを個別に用意しておき、ユーザエージェント(UA)を参照してそれぞれの訪問者に異なる別のページを提供する仕組み。かつて ステルス(stealth)やファントム(phantom)などと呼ばれていたが現在は一般的にクローキングという。この手法で世界的に著名な人物はfantomaster。
活用例として、ユーザ(人)にはAdobe Flashや画像をふんだんに用いたきれいなページを表示する一方で、クローラ(検索エンジン)にはSEOで上位に表示したいキーワードをたくさん詰め込んだページを渡すことで、SEOとビジュアル要素を両立させるといったシーンが考えられる。
クローキングは、技術的にはユーザエージェントによって表示するページを区別するユーザエージェント・クローキングと、訪問者のIPアドレスによって表示するページを変えるIPデリバリー・クローキングがある。かつてクローキングが流行していた1990年代後半から2000年にかけては特に後者の方法が人気で、1万円程度の安価なIPクローキング用スクリプトを入手することで手軽にクローキングが実現できた。多くの業者は検索エンジン識別用のIPアドレスリストを定期的にアップデートしたほか、クローキング愛好者からの情報提供を受けて、検索エンジンとのいたちごっこを続けていた。
Googleは、当時、技術利用の意図を問わず、例外なくクローキングは検索エンジンスパムであると認定、こうしたクローキングスパム行為のサイトはインデックスから削除したほか、そのドメイン自体もブラックリストに追加することで再利用を防いでいた。日本では一部の業者が2004年頃まで積極的に利用していたが、現在はその大半がSEO事業そのものを閉鎖している。
GoogleのIPデリバリー・クローキングの検出技術が年々高度化していったことから、今日では本格的なIPデリバリー・クローキングを大々的に展開するSEO会社は世界でも少数派。代わりに、ページを切り替えるのではなく、ページ内の特定リンクや文言を入れ替える、パーシャル・クローキングや、URLの正規化(canonicalization)時にリダイレクトを悪用したクローキングなど、実装方法が変化してきている。
「訪問者とクローラに違うコンテンツを見せる」という広義のクローキングにおいては、すでにGoogleは厳しい態度をとるようになっている。たとえば、画像に記述されたテキストと、altテキストの内容は(ほぼ)完全同一であることが求められるようになってきている。