SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Googleサイトマップ、「robots.txt」ファイル分析を追加

XMLを使ってGoogleデータベースにサイトをまとめて登録できるGoogle Sitemap(グーグル・サイトマップ)の新機能として、robots.txt分析が追加された。

robots.txtは、サイト内におけるクローラ(ウェブページを収集するロボット)の動作を制御するためのファイル。Googleの検索インデックスに登録したくないフォルダやファイルがある場合に文法に従って記述する。

robots.txtファイル分析は、サーバに設置されたrobots.txtをGooglebotが取り扱った処理結果を表示する。Googlebotが最後にrobots.txtファイルにアクセスした時間やステータスコード、Googlebotが認識できたクロール禁止フォルダ/ディレクトリ情報を参照可能だ。

robots.txtに記述した通りにGooglebotが動作しているかを把握するために利用できるだろう。

Googleサイトマップ

https://www.google.com/webmasters/sitemaps/

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。