Google公式ブログ「Google Webmaster Central Blog」にて、ジオロケーション、IPデリバリー、クローキング、First click freeそれぞれのGoogleの定義について解説している。
よく勘違いされる例として、ブラウザやIPアドレスからアクセス元地域・国・言語を自動判定して対応するページにリダイレクト設定することを「クローキング」としたり、Amazon.comのアフィリエイトリンクの転送先が、googlebotやYahoo! Slurpの場合とユーザー(User-agentがブラウザ)の場合で異なることを指して「クローキング」とすることがあるがいずれも間違い。
ブログにてGoogleはまず、ジオロケーションとはユーザーのクッキー情報やIPアドレスなどの属性を参照して適切なコンテンツを提供する仕組み。例えばLenovoやAdobeなどのグローバルに展開するサイトは、ユーザーが最初に言語(国)を指定すると、次回以降のアクセスでも前回設定した言語(国)のサイトに移動する。
IPデリバリーは、IPアドレスを基準に表示するコンテンツを切り替える方法。概してIPアドレスから訪問者の居住地域が判定できるためだ。たとえば日本国内居住者にサービス提供が限定されているサイトは、日本国内に所属するIPアドレスからのアクセスを遮断するといった方法がある。IPデリバリーを行う場合、Googlebotが閲覧するコンテンツは、同セグメントと判定されたユーザーが目にするコンテンツと同等である必要がある(もし、Googlebotだけに特別なコンテンツを見せている場合、後述するクローキングと判定される)。
クローキングは(User-Agentや)IPアドレスがクローラーだった場合に、ユーザーとは異なるコンテンツを見せる手法を指し、Googleはこれをガイドライン違反とみなしている。理由は、クローラーが参照したページとユーザーが閲覧するページが異なる場合、検索品質の低下を招くことになるからだ。クローラーは取得したファイル(ページ)の内容に基づいてランク付けして、ユーザーが目にする検索結果の関連性を保とうとしているのに、その前提となるファイルをユーザーが目にしないものであれば、適切な関連性を保持した検索結果を表示できなくなる。Googleは、md5sumやdiffなどのプログラムによって2つのファイルが同一であるかを計算できると説明している。
ちなみにGoogleは昔からクローキングについては厳しく取り締まりをしており、日本国内でも定期的にクローキングサイトはウェブ検索から完全に消去されていることが確認されている。
最後にFirst click freeの方法を紹介した。First click freeとはGoogle Newsで用いられている方法で、記事閲覧に会員登録(ログイン)や購読を必要とするサイトであっても、Google News利用者には無料で記事を公開できる。
たとえば、Google Newsで検索して興味を持った記事をクリックした時、ログインや登録手続きをスキップして記事を読むことができる。当該記事の全文を読もうとしたり、同一サイトの他の記事にアクセスしようとすると、ログイン画面が表示される。Googleは、First click freeは記事の試読ができるシンプルなシステムだと表現している。
このFirst click freeシステムはウェブ検索にも適用可能で、(ログインしなければアクセスできないコンテンツでも)Google品質ガイドラインに違反することなく、コンテンツをウェブ検索にインデックスさせて、ウェブ検索を通じてアクセスしたユーザーに記事を閲覧させることが可能だ。もちろん、Google Newsと同様に、他の記事に続けてアクセスしようとしたユーザーに会員登録などを促す画面を出すことは問題がない。なお、First click freeを導入する場合、ウェブ検索経由でユーザーが目にするコンテンツは、Googlebotが参照したページと同一である必要がある(同一でなければ、クローキング)。
How Google defines IP delivery, geolocation, and cloaking [Google Webmaster Central Blog]
http://googlewebmastercentral.blogspot.com/2008/06/how-google-defines-ip-delivery.html
First click free [Google News Blog]
http://googlenewsblog.blogspot.com/2007/09/first-click-free.html
#
前半で触れたAmazonのアフィリエイトリンクの制御は全く問題がない。クローキングか否か、ガイドライン違反か否かを論じること自体が的外れ。なぜなら、リダイレクト先ページは誰でも(クローラー、ユーザー問わず)アクセス可能になっているから。以前、この話をさんざん説明したけれども全然わかってくれなかったことがありました。