XML sitemapは、サイトのクローラビリティ（クローラに、サイトのURL構造を伝達すること）を高めるための方法の1つだ。数千ページものコンテンツを管理している場合、深い階層にあるディープリンクを発見しやすくする手助けとして活用できる。とりわけXML sitepamを用意すれば確実にクロールされるわけではないが、施策の一環として取り組んでいる企業は多い。たとえばAmazon.com /co.jp などの通販サイトなどが一例だ。
ところでこのXML sitemap、検索エンジンはどのくらいの頻度で参照しているのだろうか。Google Webmaster Central に投稿された質問に対して、同社従業員のJohnMu氏が回答を寄せている。
同氏によると、Googleクローラ（googlebot）のクロール頻度は、XML sitemap filesの更新頻度に依存するという。たとえばXML sitemapを参照するたびにいつも新しいコンテンツが見つかれば、参照頻度も高めるという。もしクロール頻度が多すぎるのであれば、XML sitemapで daily などと指定することで、Googleクローラは参考にする。また、クローラが過剰にアクセスしていることが問題になっているのであれば、Googleウェブマスターツールでクロール頻度を指定する方法もあると紹介している。
「XML sitemapの更新頻度が高ければ、Googleクローラの訪問回数も増える」ということだが、クローラの訪問回数が多ければ順位が上がりやすくなるわけではないので注意。
GoogleBot request /sitemap.xml up to 14,800 times a day, across 375 subdomains
http://www.google.com/support/forum/p/Webmasters/thread?tid=79ab924c363a0d72&hl=en