Google、Yahoo!、Microsoftの3社は2006年11月16日、Sitemapsのサポートを発表した。Sitemapsは検索エンジンにWebコンテンツの在処を伝えるもので、検索エンジンはクローリングだけに依存せず、効率的かつ包括的にコンテンツのインデックスが可能となる。
2005年6月にGoogleがSitemaps 0.84をリリースした。今回、Yahoo!とMicrosoftもサポートする。SitemapはXMLファイルで検索エンジンが特定ページをクロールするためのマーカーとして機能する。Webサイト運営者はSitemapファイルに、Webコンテンツの在処をしめすURL一覧とともに、そのページがどの程度の頻度で更新されているか、最後に更新した日時がいつかなどメタデータを書き加えることができる。
検索エンジンはこうしたSitemapsファイルを読み込むことで、たとえ数千単位のページを持つWebサイトであっても各々のコンテンツがどこに存在するかを知ることができるだけでなく、クローリングを制御して不必要にコンテンツにアクセスして無駄な帯域消費を避けたり最新のコンテンツに適切なタイミングでクロールできるようになる。
Sitemapsをサポートした、検索エンジンへの登録支援ツールとしてGoogleは「Googleウェブマスターツール」、Yahoo!は「Yahoo! SiteExplorer」をすでに提供している。Microsoftは準備中。
cf.
検索エンジン3社がインデックス効率化のための共通フォーマットを採用(Sitemaps 0.90)[サーチエンジン情報館]
Major Search Engines Unite to Support a Common Mechanism for Website Submission [Google]
http://www.google.com/press/pressrel/sitemapsorg.html
Microsoft, Google, Yahoo! Unite to Support Sitemaps [Live Search's WebLog]
Yahoo! Maps releases from Beta [Yahoo! Search blog]