クローキング とは、人がアクセスしてきた時とロボットがアクセスしてきた時に別々のページを見せる技術です。
SEO技術における専門用語、クローキング(Cloaking)についての解説です。
クローキングというのは cloaking あるいは ステルス (stealth) ファントム ( phantom )とも呼ばれているのですが、要は「検索エンジンクローラー(Crawler)がウェブページにアクセスしてきた時と、人間がアクセスしてきた時に異なるウェブページを見せる」のです。例えば「人間がアクセスしてきたときには Flash で作成したビジュアル的にかっこいいウェブページを見せる一方、検索エンジンクローラーがアクセスしてきた時にはHTML構造がシンプルなテキストのみを記述した(検索エンジンに最適化された)ウェブページを見せる」わけです。
これは、全く同一の URL にアクセスしているのに異なるページが見えます。ブラウザの User-Agent や IP アドレスを利用すれば人間がアクセスしてきたのか、スパイダーがアクセスしてきたのか判別できます。この2つの基準を利用してそれぞれに異なるページを見せるわけです。
Macromedia Flash や GIF/JPEG画像で構成されているページは、bodyタグ内に重要なキーワードがテキスト文字として記述されないために検索エンジンの検索対象にならないということはご存じかと思います。
しかし、このクローキングを利用すれば問題が解決するわけです。つまり、クローラーがアクセスしてきた時には「クローラーしか読まないページ」=「人間の目には触れないページ」を見せるのですからビジュアル的要素の善し悪しは全く関係ないのです。シンプルに、テキストだけで構成されて、しかもターゲットとするキーワードを中心とした文章を書いておけばいいわけです。これによってフレームや Flash、ダイナミックページで構成されたウェブサイトでも容易に検索エンジンアルゴリズムへの最適化を行うと共に上位の掲載順位を獲得することが可能なのです。
ただ、このクローキングについては色々議論がされています。クローキングはスパム行為だという主張もあれば、要は使い方次第だ、という主張もあります。
検索エンジン会社側の対応としては、例えば Google はクローキングはスパム行為であるとの見解をとっています。従って、もし Google にクローキング利用が見つかった時にはドメインごとインデックスから削除されてしまいます。日本の goo や infoseek は今のところ大丈夫です。
また、実際にクローキングを導入するとなると躊躇してしまう要因もあります。人間なのかスパイダーなのかの判断はIPアドレスを見て判断するのですが、IPアドレスは常に同じわけではなくある日突然新しいIPアドレスを持ったクローラーが訪れることがあるわけです。その為、随時アクセスログを監視していないといけませんし、クローラー識別の為のディテクション用IPアドレスリストを常に最新情報にしておく必要があります。
クローキングは海外ではある程度は価値があります。しかしここ Yahoo!Japan / Google 利用者が偏っている日本市場においては、果たしてクローキングシステムを採用するのがコストパフォーマンスにおいて良いか悪いか疑問が出てくるところです。クローキングのシステムとしては IP-delivery というのが有名なのですが日本円で10万円ほどします。また、IPアドレスのアップデートなどのサービスを受けるのであれば長期契約をする必要があるわけです。infoseek や goo が持つトラフィック誘導能力と、このクローキングシステム導入費を天秤にかけたとき、採用するに値するキーワードというのは限られてくるでしょう。