Yahoo! Search、robots.txtでワイルドカード対応

米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp）のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。

ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへのアクセスを禁止する」「文字列?sessionidを含むファイルへのアクセスを禁止する」という指示になる。

User-Agent: Yahoo! Slurp Allow: /public*/ Disallow: /*_print*.html Disallow: /*?sessionid

また、$　をつけることで、特定の文字列を拡張子に持つファイルへのアクセスを禁止できる。例えば次の例では.gifで終わるファイルへのアクセスや、URLの文字列最後に?を持つファイルへのアクセスを禁止する。

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt [Yahoo! Search blog]
http://www.ysearchblog.com/archives/000372.html