48時間毎のクロールを実現 - goo の サーチサブミット
検索ポータルサイトの goo が有料の検索エンジン登録サービス(ペイド・インクルージョン)「サーチサブミット」を開始した。
サーチサブミットを利用すると、クローラーが48時間毎に訪れてページ情報を収集していく。そして即座に goo を始めとする Inktomi を採用する検索エンジンのインデックスに反映されるようになる。
料金は年間4800円の年間固定金額。申し込みは 1URL から最大5URL まで申し込みが可能。
と、簡単にサーチサブミットの内容を説明したが、意味がよくわからないという方が多いと思うので詳しく解説を。
(1) ”クロール周期”がもたらす弊害
goo に限らず Google や infoseek といったロボット型検索エンジンは、検索サービスを提供するにあたり、クローラーと呼ばれるロボットを利用してインターネット上に存在するウェブページの情報を収集する。収集したウェブ情報を整理したインデックスというデータベース情報を構築して、検索サービスを提供しているわけだ。
このウェブページの収集を行う「クローリング」という作業は、通常3〜6週間に1回程度行われる。最近の Google によるフレッシュクロールを除くと、基本的にはこの程度の時間がかかる。
ところでユーザーが普段検索エンジンを利用して見ている検索結果は、一番最後にクローラーが収集した時点のインデックス情報が元となっている。従って、いまこの時点で検索を行っても、表示されている検索結果は何週間も前のものを見ていることになる。検索結果に出てきたサイトをくりっくした時に「このページはありません」や「404 Not Found」といった表示がされることがあるのはこのためだ。つまり、一番最後にクロールした時点では存在していたサイトが、既になくなっているのだ。
このようなロボット型検索エンジンの事情を、今度はサイト運営者の側から見てみよう。
例えば今日、新規にウェブサイトを開設したとする。今すぐに集客を行いたい。サイトで取り扱っている商品は検索エンジンで探されることが多いから今すぐにでも検索エンジンに登録したいと考えたとしよう。
しかし、先のクローリング周期の事情により、すぐに検索エンジンに登録される事はないのである。クローラーが訪れて、それがインデックスに反映され、ユーザーに検索サービスとして提供されるまで間は辛抱しなければならないのだ。
既に検索エンジンのインデックスに登録しているサイトの場合でも、このクロール周期の長さがビジネスの障害になることがある。サイトによっては日々新しい情報に更新しているウェブサイトもあるだろう。しかし実際に検索サービスがユーザーに示す検索結果情報は過去のものであるために、例えば既に終了してウェブサイト内に存在しないキャンペーン情報が検索結果に残ってしまうことがある。
さらに、SEOを取り入れて掲載順位をあげようとウェブページを最適化しても、その
結果が反映されるのは数週間後ということになる。
(2) クロール周期を短くするサーチサブミット
ロボット型検索エンジンはクローラーというウェブページ収集ロボットを利用する
ことにより、人の手によってウェブ情報が集められ構築されるディレクトリ型検索エンジンよりもより多くの情報を持っている。しかし、クロール周期が長いために古い情報を抱え込むことになり、新しい情報を即座にインデックスして新鮮な情報を提供できないという問題も発生したわけである。
この”クロール周期”の問題を解決するのが今回 goo が開始したサーチサブミットである。
サーチサブミットに申し込むとまず72時間以内にクローラーが訪れてインデックスに登録される。新規に開設したばかりのウェブページでも同様だ。登録されてから次回のクロールは”最短48時間”になる。以後、48時間毎にクローラーが訪れてウェブページ情報を収集、即座にインデックスに反映していくようになるのだ。
サーチサブミットは、Inktomi 系検索エンジンの全てに対して有効である。日本語のポータルサイトで Inktomi を採用しているのは goo 以外には MSN、フレッシュアイ、TOCC。これらの検索サービスでも反映される。
サーチサブミットによってサイト管理者は常に最新の情報を検索結果に反映させることができるとともに、検索サービス利用者にも最も最新のウェブページの情報を提供することができるようになるわけである。
(3) ダイナミックページも登録可能に
サーチサブミットサービスは、無料のURL申請では受けられないサービスも提供する。それは PHP や ASP といったダイナミックページも登録できる点である。
クローラーはダイナミックページについては必ずしも登録をしてくれわけではない。全てのページが登録されないわけではないが、実際に登録されるかどうかはクローラーの様子を見てみないとわからないのが実情だった。
ダイナミックページを収集しないのは、技術的に不可能だったのではなくて、パラメーターの数値が少し異なるだけでほとんど同一のコンテンツを収集してしまう「スパイダートラップ」を防ぐためというのが主な理由であった。
サーチサブミットを利用する際には、ユーザーが指定するURLはたとえダイナミックページであっても固有の情報を持っているはずなので、クローラーに巡回させても問題がないわけである。
ショッピングサイトや情報データベースを活用したサイトを提供していてダイナミックページを使っているサイトにはとても有益なサービスである。
(4) あくまで「クローリング周期を短くするだけ」のサービス
サーチサブミットを利用すると48時間毎に登録が行われることになるわけだが、注意して頂きたいのは、サーチサブミットはあくまでクローリング周期を短くするだけである。つまり、サーチサブミットは年間4800円の有料サービスであるが、これを利用したからといって特定キーワードにおいて上位表示される - いわゆるSEO - 効果がでるわけではないのだ。
ターゲットとする特定のキーワードであれば、SEO 対策をきちんとページ内外で行わなければならない。
これを聞くと「なんだ、有料サービスなのに!」と憤慨する方もいらっしゃるかと思うが、サーチサブミットが目的とするのは「クローリング周期が遅いことについて不満がある」ユーザーに対するソリューションサービスであることを認識して頂きたい。
SEO を行いたい人たちにとってもこのサービスは便利である。48時間毎にクローリングされるということは、自分がページ内に施した対策が効果があるかどうか、その見極めを48時間毎に行うことができるからである。従来は施した対策の効果を見るためには数週間待たなければならなかったが、サーチサブミットを利用すれば48時間で効果検証が行えるのである。
(5) サーチサブミットは世界では一般的なPFI
サーチサブミットのようなサービスは、一般にペイドインクルージョン( Paid Inclusion ) またはペイ・フォー・インクルージョン (Pay for Inclusion: PFI)と呼ばれており世界的にはポピュラーな存在である。
今回 goo が提供するサーチサブミットは、米Inktomi が従来提供しているPFIサービスの日本語版である。Inktomi の他、altavista、AllTheWeb、オーストラリアのwebwombat、AskJeeves といった検索サービスも無料の URL 登録と共にPFIも用意している。どこのサービスも内容はほぼ同じである。
つまり、ようやく日本でも PFIが始まった、ということである。
(6) 余談 - サーチサブミットは代理店によってサービスが違う
さて最後に余談だが、NTT-X は米Inktomi のPFIサービスの日本国内の販売代理店の1つにすぎない。世界にはいくつかPFIのリセラーがいるのだが、実は代理店によって付加価値サービスが異なる。
Inktomi の PFIを利用する時には、よく PositionTech をお勧めしているサイトが多い。これは PositionTech から Inktomi のPFIを申し込むと、クリックされた回数をレポートしてくれるからだ。Inktomi の検索エンジンで、実際にどれだけのトラフィックを誘導できているのかを知ることができ、今後の検索エンジン対策の参考にできる。
goo は今のところクリックレポートは行わないようであるが、是非導入を検討してほしいところだ。