Googlesサイト上の"Google Information for Webmasters" アドバンストセクションに、Googleクローラ（googlebot）の訪問回数についての解説があります。
How often will Google crawl my site? Google's spiders regularly crawl the web to rebuild our index. Crawls are based on many factors such as PageRank, links to a page, and crawling constraints such as the number of parameters in a URL. Any number of factors can affect the crawl frequency of individual sites. Our crawl process is algorithmic; computer programs determine which sites to crawl, how often, and how many pages to fetch from each site. [Google Information for Webmasters, Google]
以前から言われているように、Googleクローラの訪問頻度はサイトによって異なります。例えばPageRankスコア、対象ページへのリンク、URLの引数に関連する制限など様々な要因が訪問頻度の決定に影響を与えます。また、クロールプロセスはアルゴリズムで制御され、それがどのサイトをクロールするのか、どの程度の頻度か、またどれだけのページを取得するかを決定するということです。
例えば www.sem-research.jp サイトでは新規にページを作成してから平均して20時間以内にインデックスが完了しますが、新ドメイン www.sem-r.com では新規ページ作成からインデックス完了まで2～3日かかるという違いがあります。また www.sem-research.jp のほうが一度に大量のページが取得されています。このようにサイトによってクローラの動作は異なるということです。
