米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp）のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。
ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへのアクセスを禁止する」「文字列?sessionidを含むファイルへのアクセスを禁止する」という指示になる。
User-Agent: Yahoo! SlurpAllow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid
また、$ をつけることで、特定の文字列を拡張子に持つファイルへのアクセスを禁止できる。例えば次の例では.gifで終わるファイルへのアクセスや、URLの文字列最後に?を持つファイルへのアクセスを禁止する。
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$
Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt [Yahoo! Search blog]
