YSTのフレッシュクロール

Googleにフレッシュクロールとディープクロールがありましたが、YSTでも同様にあります。毎日ページを収集してインデックスに追加するフレッシュクロール、およそ週単位で更新を行うディープクロールです※。

※キャプチャはYahoo!JAPANの検索より、2004/06/03 10:10 時点

このように、5月31日付けの記事『Yahoo! Search Technology (YST)とは？』も検索結果に表示されます。

もっとも同じフレッシュクロールとはいえGoogleとYSTのそれは仕様が大きく異なります。Googleは新規に追加したページは全部拾ってくれるのに対して、YSTはクローラ訪問時に前回時より更新された全てのページを全て拾ってくれるわけではありません。これは米YSTも日本ローカルYSTも変わらないようです。

また、Googleの場合は「よく更新されているページはよくフレッシュクロールが収集する」という傾向があるのに対して、YSTはよく更新されているからといって必ずしもフレッシュクロールされるわけではないのです。

結局「どういったルールでページを選択して拾っているのか？」がYSTはよくわかりません。2月〜4月に米YSTの調査をしていましたが、「なぜそっちのページは拾っておいてこっちは拾わないの？！」ということが少なくありませんでした。

※　このクロール周期の根拠は、米Yahoo!の話による。実際はそうではないことに注意

ref.
米Yahoo! Searchのクロールとインデックス更新について