Google がウェブマスター向け「技術に関するガイドライン」を更新した件について、同様の発表が日本語公式サイトにも掲載された。
Google のインデックス登録システムが最新ブラウザ同様にウェブページをレンダリングして登録するようになったことを踏まえ、JavaScript、CSS、画像ファイルにも Googlebot が巡回できるように求める内容だ。詳細は以下の記事を参照してほしい。
cf. Googleがガイドライン更新、CSSやJavaScriptのクロールを推奨、robots.txtによる拒否はインデックスに問題生じる可能性
ページのレンダリングに基づいてインデックス登録が行えるようになった一方で、全てのウェブ技術に対応しているわけではないため、プログレッシブ エンハンスメントという考えに基づいてページをデザインすることをアドバイスしている。また、サイトの robots.txt を利用してレンダリングにかかわる JavaScript や CSS ファイルのクロールを拒否する設定を行うと、Googleアルゴリズムによるコンテンツレンダリングやインデックス登録に支障が出る可能性があることも指摘している。
技術に関するウェブマスター向けガイドラインを更新しました
http://googlewebmastercentral-ja.blogspot.jp/2014/10/updating-our-technical-webmaster.html