SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Yahoo! Search、robots.txtでワイルドカード対応

米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp)のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。

ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへのアクセスを禁止する」「文字列?sessionidを含むファイルへのアクセスを禁止する」という指示になる。

User-Agent: Yahoo! Slurp

Allow: /public*/

Disallow: /*_print*.html

Disallow: /*?sessionid

また、$ をつけることで、特定の文字列を拡張子に持つファイルへのアクセスを禁止できる。例えば次の例では.gifで終わるファイルへのアクセスや、URLの文字列最後に?を持つファイルへのアクセスを禁止する。

User-Agent: Yahoo! Slurp

Disallow: /*.gif$

Allow: /*?$

Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt [Yahoo! Search blog]

http://www.ysearchblog.com/archives/000372.html

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。