Googleがウェブマスター向けガイドライン更新、CSSやJavaScriptのクロールをブロックしないよう求める

グーグルのインデクシングシステムがモダンブラウザのようにウェブをレンダリングに基づいたシステムに変更されたことで、そのレンダリングを行うために必要な CSS や JavaScript ファイルへもクローラ Googlebot がアクセスできるよう確認することをガイドラインに明記。意味もなく robots.txt でクロールを禁止すると、インデックスに問題が生じて自然検索順位に悪影響も。


公開日時:2014年10月28日 06:24

米Google は2014年10月27日、ウェブマスター向けガイドラインの「技術に関するガイドライン」を更新し、ウェブクローラが正しくサイトを認識するために CSS や JavaScript などのウェブレンダリングに関連するファイルも巡回できるよう配慮することを求めた。

ウェブレンダリングに関連する記述を更新

今回 Google が更新したのは、ウェブマスター向けガイドラインのうちの「技術に関するガイドライン」に記述された、ウェブページのレンダリングに関する箇所。具体的には、次の箇所が更新されている。

従来の技術に関するガイドライン

Lynx などのテキスト ブラウザを使用して、サイトを確認します(ほとんどの検索エンジンのスパイダーには Lynx で見えるようにサイトが映ります)。JavaScript、Cookie、セッション ID、フレーム、DHTML、Flash などの特殊な機能が使用されているためにサイトの一部がテキスト ブラウザで表示されない場合、検索エンジンのスパイダーがサイトをうまくクロールできない可能性があります。

新しい技術に関するガイドライン

Google がサイトのコンテンツを完全に把握できるように、サイトのアセット(CSS や JavaScript ファイル)がすべてクロールされるようにしてください。Google インデックス登録システムは、ページの HTML やそのアセット(画像、CSS、Javascript ファイル)を使用してウェブページをレンダリングします。Googlebot がクロールできないページアセットを確認し、robots.txt ファイルのディレクティブをデバッグするには、ウェブマスター ツールの Fetch as Google ツールと robots.txt テスターツールを使用します。[技術に関するガイドライン]

変更後のガイドラインは、『Googlebot(クローラ)が、HTML はもちろん、CSS、JavaScript、画像などレンダリングに必要なファイルにアクセスできることを推奨します』ということを伝えている。

今回のガイドライン変更は、Googleインデックス登録システムの進化して、ウェブレンダリングに基づいたものになったことが背景にある。


インデックス登録システムが「モダンブラウザ」並に進化したことが理由

歴史的に Google を含む検索エンジンは、Lynx のようなテキストのみのブラウザのように振る舞ってきた。従って CSS や JavaScript などのウェブ技術を処理することは出来ず、テキスト分析によってウェブページを理解しようと試みてきた。従来のガイドラインは、こうした事情に基づいて設けられたものだ。

しかし今日のウェブサイトは様々な形で JavaScript や CSS を多数取り入れており、従来のままのテキストのみが処理できるブラウザのままでは、適切にウェブページを索引化することが困難となっていた。そこで今年5月に Google は、Web標準に対応したモダンブラウザのように JavaScript を実行してウェブレンダリングを行えるようにシステムを大きく変更した。もはや Google のインデックス登録システムをテキストのみ対応ブラウザとして捉えるのは正しくなく、進化したモダンブラウザのように振る舞う新しいシステムにあわせて、ガイドラインの内容も変更する必要が出てきたということだ。


CSSやJavaScriptファイルのクロール拒否は自然検索順位に悪影響も

Let me be super clear about what this means: By blocking crawling of CSS and JS, you're actively harming the indexing of your pages. It's the easiest SEO you can do today. And don't forget your mobile site either![Pierre Far, Google UK]

Google は正しくウェブレンダリングが行えるように、CSS や JavaScript、画像ファイルなど一般的なブラウザで正常にウェブページを閲覧する(レンダリング)する時に必要とする全ての CSS ファイルや JavaScript にクローラがアクセスできるようにすることを求めている。これが今回変更されたガイドラインの趣旨だ。本件について、同社 Webmaster Trends Analyst の Pierre Far氏は、CSS や JavaScript を robots.txt などでクロール禁止することは、検索インデックスに支障が生じる可能性があると指摘している。


Updating our technical Webmaster Guidelines
http://googlewebmastercentral.blogspot.jp/2014/10/updating-our-technical-webmaster.html

Understanding web pages better [Google Webmaster Central Blog]
http://googlewebmastercentral.blogspot.jp/2014/05/understanding-web-pages-better.html


#
長らくクローラは Lynx のようなテキストブラウザを前提にしていましたから、クローリングさせる必要性がなかった CSS や JavaScript ファイルは最初から robots.txt などでクロールを禁止しておいてアクセスさせないことが半ば常識的に扱われてしまっていました。しかし上記の通りその前提が崩れクローリング事情が変化していますから、この新しい時代にあわせたルールを理解して対応しなければなりません。

Google が重点的に取り組んでいる検索のユーザーエクスペリエンスの課題を解決するためには、ユーザーが閲覧使用としているウェブページが、どのようなデバイス(スクリーンサイズ)に適した/適していないのかを機械的に判断しなければなりません。だからインデクシングシステムを改良してモダンブラウザのように処理できるようにして、ウェブページを実際にレンダリングして認識する必要が生じました。このレンダリングを行うためには CSS や JavaScript も実行しないと行けませんから、ガイドライン変更してウェブマスターの皆さん守って下さいねとお願いしているのです。

レスポンシブWebデザインを採用している、スクリーンサイズによって可変的にレイアウトが変わるようなケースでは、レンダリングを適切に行えるようにクロール許可をしておくとよいでしょう。





記事カテゴリ:Google 2010-2016, SEO(検索エンジン最適化)


他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google モバイルファーストインデックスのやさしい解説 (1) 何が発表されたの?
Google、モバイルファーストインデックスを公式発表、SEO への影響は?
スマホの音声認識、米国ユーザーの70%が満足、テキスト入力が3倍速いとの調査結果も
Yahoo! 検索、検索結果右側のテキスト広告を廃止か
[訂正版] Google、モバイルファーストインデックスを導入、モバイルサイトを基準とした評価へ
Google News、事実確認できた記事に Fact check ラベルを表示
[訂正] Google、モバイルファーストインデックスへ移行する計画を発表
ペンギンアップデートはリンク発信元ページを評価する(Google、Gary Illyes氏)
Google、進化したAI 採用の「Google Assitant」を発表
Bing App、AMPサポートを開始
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。