Google、新ウェブページの発見・クロールにRSS/Atomフィードを活用

米Googleは2009年10月29日、新しいウェブページを発見するための手段の1つとして、RSS / Atomフィードを利用することを公式ブログで発表した。

Googleは新しいウェブページを発見・登録するために様々な方法を利用しており、検索ユーザがオンラインで公開されたばかりの新しいコンテンツを即座に検索可能にすることを目指している。今回、この新ウェブページ発見の手段としてRSS及びAtomフィードを使用する。Googleは、従来のクローリング手法よりも迅速に新ページをインデックスできると説明している。

RSS及びAtomフィードをインデックス登録の促進のために利用するためには、これらフィードがrobots.txtなどでクローラのアクセスを拒否していないことを確認すること。

Using RSS/Atom feeds to discover new URLs
http://googlewebmastercentral.blogspot.com/2009/10/using-rssatom-feeds-to-discover-new.html