米Googleは2010年6月8日、新しい検索インデックスの基盤技術「カフェイン」(Caffeine)が完成したことを公式ブログで発表した。
カフェインは2009年夏に発表された、Googleインデックスシステムの再設計・再構築プロジェクトのコードネーム。ウェブ検索のインデックスの規模やスピード、正確性、包括性などを強化することを目指している。昨年の秋まではプレビューとして一般ユーザ向けにもCaffeineのシステムによる検索サービスも公開していた(閉鎖済み)。
Caffeineのインデックスシステムでは、従来のインデックスと比較して鮮度が50%以上改善され、ニュースやブログ、フォーラムへの投稿などコンテンツを問わず、関連性の高いコンテンツを探し出すことが可能になったと説明する。データ量にすると1日数十万ギガバイトの速度で新しい情報を追加しているとのことだ。
Googleはカフェインという新しい検索インデックスを構築した背景について、従来のインデックスと対比させながら解説している。同社によると、従来のインデックスは複数のレイヤーで構成されており、一部のレイヤーは更新頻度を高める一方で、メインとなるレイヤーは2~3週間単位での更新をしていた。しかし、この古いインデックスレイヤーを更新する際にウェブ全体を解析する必要があったため、最新状態を反映するまでに時間がかかっていたという。
「カフェイン」では、ウェブを小分けにして解析することで、全体を継続的に更新することが可能になったという。新しいウェブページが発見されれば即座に検索可能となり、今まで以上に、キーワードと関連する鮮度の高い情報が検索可能となった。
また、今日のウェブがファイルのサイズや数だけでなく、動画や画像、ニュース、リアルタイムアップデートなど、コンテンツがリッチで複雑になっているという状況を踏まえ、カフェインはこれらを適切に処理して関連性が高い検索結果を提示するための役割も担っている。
Our new search index: Caffeine
http://googlewebmastercentral.blogspot.com/2010/06/our-new-search-index-caffeine.html
cf.
Google Matt Cutts、次世代検索技術「Caffeine」について解説
http://www.sem-r.com/09/20090814100426.html
Google、大規模アップデート「Caffeine」の検索結果(SERP)の違い
http://www.sem-r.com/google09/20090818113123.html
Google、新検索システム Caffeine はまだリリースされず (2010/01)
http://www.sem-r.com/09/20100108092006.html
#
1つ目。Yahoo!JAPANの方は「インデックス更新」や「アルゴリズムアップデート」が話題になりますが、Googleは絶えずインデックスを更新しているので、更新インターバルがありません。3年ほど前からそうなっていますが、Caffeineにより、改めてそういったインターバルがなくなるということは認識しておきたいところ。
2つ目。カフェインは、インデックスシステムの開発であって、アルゴリズムの更新ではありません。よく「カフェインになるとアルゴリズムがどう変わるんですか?」といった質問を受けるのですが、関係ありません。Googleは毎日・毎週のように微調整を行っていますし、時折、大幅なバージョンアップもします。
3つ目。検索結果の鮮度について。Yahoo!JAPANとGoogleの両者の検索結果の鮮度を比較すると、大きな差がついています。
参考までにちょっとした調査の結果を紹介します。2010年3月から4月のNHK 朝6時のニュースと夕方の民放ニュースの中で、その時点で初めて報道されたニュース(政治、経済、スポーツ、社会)、かつ初めて登場した(ユニークな)キーワードまたはキーフレーズ(条件に合致したニュースは30件)を対象として、何時間で検索エンジンにインデックスが行われるか調べました。この結果、当該ニュースが初めて検索結果に1件でも現れるまでの平均時間はGoogleが10分、Yahoo!JAPANは150分でした。
改めて数字で説明するまでもなく、たとえYahoo!トピックスに掲載されたばかりのニュースでちょっと検索してもらえれば実感できると思いますが、検索結果の更新頻度・リアルタイム性ではGoogleが圧倒的に優位に立っていることがわかります。
インデックス全体という広義の意味でのリアルタイム検索、またTwitterのツイートやFacebookのコメントなどを対象とした狭義の意味でのリアルタイム検索でもGoogleがリードを広げつつあります。とりわけYahoo!JAPANが、グローバルでのBing採用という動向も踏まえつつ、どう対応していくのかは気になるところです。