Everflux （エバーフラックス）という現象について。Google Freshbot の話題。 このブログでは何度か Google フレッシュクロールの話題を取り扱いましたが、今日は Deepbot / Freshbot という２つのクローラーと順位変動"Everflux"に焦点を絞って話をしたいと思います。
読み進める前に注意事項。以下、Everflux について Google の 2003年3月〜8月上旬の状況を基に説明をします。Everflux そのものを理解するのは、Google の更新メカニズムがある程度解明されているこの時期を基にした方が理解しやすいですし説明もしやすいからです。
では、本題に入りましょう。最初に次の図をご覧下さい。これは Google の２種類のクローラー - Deepbot と Freshbot とインデックス更新サイクルの関係を図解したものです。
Google インデックス更新をイメージしやすいように、日付を入れてみました。それぞれ仮に１月１日を起点とした時に、インデックス更新の１サイクルが終了する時間を表したものです。日付は適当に入れていますので正確ではありません。細かいことは後で覚えればいいので、まずは「大体この程度の時間の流れで変化が起きるんだ」というGoogleクロール〜更新の全体の流れを掴んで下さい。
Deepbot - 毎月インデックス更新するクローラー
まずDeepbot。Deepbot の更新サイクルについては何度もお話していますが復習をかねてもう１度簡単に。
仮に1月1日にクローラーがWebページを収集すると、そのデータが反映されるのは１ヶ月遅れの2月1日です。つまり約１ヶ月後に検索インデックスに反映されます。Deepbot の更新サイクルは約１ヶ月毎で行われます。この図でいえば、仮にWebページを1月15日に更新したら、その更新が検索結果に反映されるのは3月1日になるわけです（1月15日に更新したものは、次回の2月1日にクロールされるから）。
Google がインデックスを更新する時には図中の最後のプロセス「Google のデータセンターに反映」という作業があります。Google は複数サーバで検索サービスを提供しているため最新のインデックス情報を各データセンター内のサーバにて書き換える時には時間がかかります。この期間のことがいわゆる「Googleダンス」と呼ばれるもので、３〜７日程度の時間がかかります。Google ダンスの期間中は検索結果が大きく変動します。
いずれにせよ、Deepbot によるインデックス更新は１ヶ月毎ですので、検索結果の順位変動が起きるのも１ヶ月毎でした。（それ故に、順位変動が起きる前触れの現象 - Google ダンスは注目されていたわけです）
さて、以前のコラムで何度も繰り返している通り１ヶ月毎の更新では最新ニュースが検索できないという問題がありました。それを補うのが Freshbot の存在 - フレッシュクロールです。
Freshbot - 毎日インデックス更新するクローラー
Freshbot の更新サイクルをご覧下さい。仮に Freshbot が1月1日に更新されたWebページ、あるいは新規追加されたWebページや新ドメインのサイトを発見したとしましょう。すると Freshbot はこの最新情報をユーザーが検索できるように、Deepbot が管理する検索データベースとは別のデータベース（一時的なデータベース）に情報を格納します。そして、Deepbot が作成したデータベースに”上書き”します。（”上書き”ということを覚えておいて下さい）
2003年11月16日時点のデータを上書きされた例
Freshbot が上書きしたデータは、検索結果に表示されるWebページに日付が記載されているかどうかで確認できます。上記のように URL の横に「2003年11月16日」と日付があれば、それは Freshbot が収集したデータを一時的に表示していることを示唆しています。
さて、Freshbot が掲載するWebページ情報（日付入りWebページ）は一時的なものにすぎません。Freshbot により集められたWeb情報を Deepbot によるデータベースに”上書き”していただけですので、一定期間経過後は次のようになります。
・Freshbot により初めて発見されたWebページの場合
Freshbot が上書きしたデータが消去されます。Deepbot のデータベースにはこのWebページの情報がないのですから、検索結果から「消滅」します。ただし、大抵の場合 Freshbot は当該Webページを再訪問（図でいえば1月4日）しますので、1月6日には今度は「1月4日」という日付で再び復活することも多々あります。
・Deepbot のデータベースに収録されているWebページの場合
Freshbot が上書きしたデータが消去されます。しかしDeepbot のデータベースにはこのWebページの情報があります。従って、検索結果画面では見かけ上「古いデータ（＝Deepbot により更新された一番最新の情報）に戻ります」。つまり、日付が消えた上で以前のデータに戻るわけです。ただし、大抵の場合 Freshbot は当該Webページを再訪問（図でいえば1月4日）しますので、1月6日には今度は「1月4日」という日付で再び復活することも多々あります。
Everflux - 順位変動は毎日起こる
以上、Freshbot によるデータ更新のサイクルを説明しました。このプロセスを順位変動という観点からもう１度見ましょう。
Freshbot が先述したように Deepbot 作成のデータベースに一時上書き ＞ 消滅という作用を及ぼすということは、順位変動が次の時点で起きることを意味します。
(i) Freshbot の情報が上書きされて新しいWebページが掲載された時点（1月3日）
(ii) Freshbot の情報が上書きされ（既にDeepbot に登録されていた）Webページの情報が書き換えられた時点（1月3日）
(iii) Freshbot の情報が消滅して検索結果に表示されなくなった時点（1月4日）
(iv) 一時的に消滅した情報が再び検索結果に表れた時点（1月6日）
(v) Freshbot の情報が消滅して Deepbot のデータに戻った時点（1月4日）
Deepbot に登録されているWebページの場合、Freshbot の訪問により最新の情報に書き換わるため、ここで順位が変動する可能性がありますね。この情報が消滅して以前の情報に戻れば相対的に順位は変動します。
Webページ(1) の順位を追って見る。1/1 では１位に表示されていても、Freshbot による既存ページの更新（青）や新規ページ追加（赤）により、頻繁に順位は変動する。これが Everflux。
Freshbot に初めて登録されたWebページの場合、Deepbot のデータに一時的に新規追加されるため、ここで順位が変動します。この情報が消滅して検索結果からなくなれば順位が変動（というか検索結果から消える）という変化が起きます。Freshbot が再訪問して再掲載されれば(1月6日）再び順位変動は起きますね。
繰り返しになりますが、Deepbot のみのインデックス更新の頃は、順位変動は月１回でした（Google Dance 含む）。しかし Freshbot の登場により上記のような影響を与えるため毎日順位変動が起きてしまうのです。このように継続的に順位変動が起こる様は一般に "Everflux" （エバーフラックス）と呼ばれます。Google の検索結果は Everflux、毎日変わるんですよ、ということです。そして、Everflux だからこそ、もはや Googleダンスという現象自体はあまり注目を浴びなくなってしまったのです。
SEO関連のMLや掲示板でよく「３日前にGoogle にやっと掲載されたと思ったら消えてしまった」「日付入りで表示されて順位がよく変わる」と相談されている方がいますが、上記の説明でその疑問が解消できるかと思います。Freshbot が最新ページ情報を既存のDeepbot作成インデックスに加えて、一定期間後に消滅／以前の情報に戻すというプロセスを毎日行っていることに起因する Everflux 現象があるからです。
- - - - -
追記：
2003年9月以降は、本文にて説明した Deepbot と Freshbot の区別がなくなっています。つまり Freshbot が Deepbot の役割を兼ねているようです。この変化により、Google の全体的な検索結果の更新頻度が大幅に向上しました。2003年11月現在、Webページの新規追加／更新後 24〜48時間前後で検索結果に日付入りで表示されるようになったことに気がついている人は多いでしょう。[参考記事:消えゆく Google ダンス ・・・クロール能力はどこまで上がる？] Rolling Update （周期的更新）とも呼ばれます。日々更新されるということは、日々順位が変動する（＝Everflux）もさらに頻繁に起きています。
ただ、最新のGoogle更新については不明確な点も多いのです。例えば、(1) Webページ毎に fresh crawl による更新頻度が大きく違うのは何が原因か（＝更新頻度を決定する要素は何か）、(2) ページ外要因の処理とそれが掲載順位に影響を与える時点とその頻度はどれくらいか、(3) 消滅したWebページの削除はいつ行われるか、などはSEOの専門家でも意見が分かれるところで、全くわかっていません。
一応、最新の情報を前提にした説明も知りたい方むけの情報も掲載します。
2003/11/23 渡辺 隆広
