Googleサイトマップ、「robots.txt」ファイル分析を追加

Google Sitemap、キャッシュに保存されたrobots.txtファイルの分析結果を表示する機能を追加。robots.txtが適切に処理されているかを確認可能に。


公開日時:2006年02月07日 12:50

XMLを使ってGoogleデータベースにサイトをまとめて登録できるGoogle Sitemap(グーグル・サイトマップ)の新機能として、robots.txt分析が追加された。

robots.txtは、サイト内におけるクローラ(ウェブページを収集するロボット)の動作を制御するためのファイル。Googleの検索インデックスに登録したくないフォルダやファイルがある場合に文法に従って記述する。

robots.txtファイル分析は、サーバに設置されたrobots.txtをGooglebotが取り扱った処理結果を表示する。Googlebotが最後にrobots.txtファイルにアクセスした時間やステータスコード、Googlebotが認識できたクロール禁止フォルダ/ディレクトリ情報を参照可能だ。

robots.txtに記述した通りにGooglebotが動作しているかを把握するために利用できるだろう。

Googleサイトマップ
https://www.google.com/webmasters/sitemaps/





記事カテゴリ:Google 06
他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google「パーソナライズ検索による劇的な検索順位変動は都市伝説」と説明
Google、カナダでローカルサービス広告を提供開始
グーグルとディズニーがデジタル広告分野で提携
Googleインド、モバイル検索でカバディの試合情報を表示する機能追加
goo, 2018年検索ランキングを発表、人物の1位は「羽生結弦」など
ロシアYandex、検索アップデート「アンドロメダ」を発表
Microsoft Bing、年末商戦にあわせてショッピング検索機能を強化
米Google、検索結果にユーザーがコメントを投稿できる機能を準備
プライバシーを守る検索エンジン DuckDuckGo、検索回数3,000万/1日 突破
ペンス米副大統領、中国市場向け検索アプリ開発の中止を求める
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。