SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Googleクローラの訪問回数はどのように決定するか?

Googlesサイト上の"Google Information for Webmasters" アドバンストセクションに、Googleクローラ(googlebot)の訪問回数についての解説があります。

How often will Google crawl my site? Google's spiders regularly crawl the web to rebuild our index. Crawls are based on many factors such as PageRank, links to a page, and crawling constraints such as the number of parameters in a URL. Any number of factors can affect the crawl frequency of individual sites. Our crawl process is algorithmic; computer programs determine which sites to crawl, how often, and how many pages to fetch from each site. [Google Information for Webmasters, Google]

以前から言われているように、Googleクローラの訪問頻度はサイトによって異なります。例えばPageRankスコア、対象ページへのリンク、URLの引数に関連する制限など様々な要因が訪問頻度の決定に影響を与えます。また、クロールプロセスはアルゴリズムで制御され、それがどのサイトをクロールするのか、どの程度の頻度か、またどれだけのページを取得するかを決定するということです。

例えば www.sem-research.jp サイトでは新規にページを作成してから平均して20時間以内にインデックスが完了しますが、新ドメイン www.sem-r.com では新規ページ作成からインデックス完了まで2~3日かかるという違いがあります。また www.sem-research.jp のほうが一度に大量のページが取得されています。このようにサイトによってクローラの動作は異なるということです。

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。