Yahoo! Search、robots.txtでワイルドカード対応

Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル／ディレクトリへのアクセス禁止指示をすることが可能に。

2006年11月04日 11:38 | Yahoo!検索 / YST | TrackBack (0) |

米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp）のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。

ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへのアクセスを禁止する」「文字列?sessionidを含むファイルへのアクセスを禁止する」という指示になる。

User-Agent: Yahoo! Slurp Allow: /public*/ Disallow: /*_print*.html Disallow: /*?sessionid

また、$　をつけることで、特定の文字列を拡張子に持つファイルへのアクセスを禁止できる。例えば次の例では.gifで終わるファイルへのアクセスや、URLの文字列最後に?を持つファイルへのアクセスを禁止する。

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt [Yahoo! Search blog]
http://www.ysearchblog.com/archives/000372.html

最新の検索エンジン業界ニュース

▼[PR] 「検索にガンガンヒットさせるSEOの教科書」好評発売中
▼ネイバー、新検索サービスのクローズドβユーザ募集開始
▼GoogleからYouTubeへの訪問者、80%以上がナビゲーショナルクエリ以外で流入 - Jストリーム調査
▼グーグル、「検索エンジン最適化スターターガイド」日本語版公開
▼米MS BingのTV CM （動画）
▼米MS、モバイル検索「Bing for mobile」公開 - PCページの閲覧性高める機能搭載
▼BingやTwitterが中国でアクセス不能に
▼アイレップ、検索特化型分析ツール「Enquisite Optimizer」販売開始
▼「SEMリサーチ」トップへ戻る

免責事項：SEMリサーチは、本記事中で触れている企業、商品、サービスの全てについて一切の保証をしておりません。各自の判断でご利用下さい。