Yahoo! Search、robots.txtでワイルドカード対応
Yahoo! Search、robots.txtでワイルドカードに対応、クローラSlurpに対して指定した文字列を含む全てのファイル／ディレクトリへのアクセス禁止指示をすることが可能に。
2006年11月04日 11:38 | Yahoo!検索 / YST | TrackBack (0) |
最新の検索エンジン業界ニュース
▼[PR] 「検索にガンガンヒットさせるSEOの教科書
」2008年6月16日発売!
▼Google、ロシアRambler Mediaの広告事業を買収 - ZAO Begun
▼ヤフーと電通、クロスメディア型広告「Spot＆Search」を開発
▼PC SEO 対策とモバイル SEO 対策5つの相違点 - アイレップのSEOスタンダード
▼ユーザー動線の変化により対応が迫られるモバイル SEO - アイレップのSEOスタンダード
▼ノキアのWidSets、ウィジェット検索にエム・シー・エヌのMobileSearch.netを採用
▼エム・シー・エヌ、音楽SNS「mob」へ音楽バーティカル検索を提供
▼アドワイアーズ、ドネットワーク開始 - 検索ワードとコンテンツ連動
▼「SEMリサーチ」トップへ戻る
免責事項：SEMリサーチは、本記事中で触れている企業、商品、サービスの全てについて一切の保証をしておりません。各自の判断でご利用下さい。
米Yahoo! SearchプロダクトマネジャーPriyank Garg氏は2006年11月2日、公式ブログ「Yahoo! Search blog」にて、クローラ(Slurp）のクロール指示を出すrobots.txtファイルの記述ルールでワイルドカードに対応したことを明らかにした。
ワイルドカードに対応したことで、例えば次のようにrobots.txtに記述すると、Slurpに対して「文字列publicで開始する全てのディレクトリ以下のクロールを許可する」「文字列_publicを含むファイルへのアクセスを禁止する」「文字列?sessionidを含むファイルへのアクセスを禁止する」という指示になる。
User-Agent: Yahoo! Slurp Allow: /public*/ Disallow: /*_print*.html Disallow: /*?sessionid
また、$ をつけることで、特定の文字列を拡張子に持つファイルへのアクセスを禁止できる。例えば次の例では.gifで終わるファイルへのアクセスや、URLの文字列最後に?を持つファイルへのアクセスを禁止する。
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$
Yahoo! Search Crawler (Yahoo! Slurp) - Supporting wildcards in robots.txt [Yahoo! Search blog]
http://www.ysearchblog.com/archives/000372.html
最新の検索エンジン業界ニュース
▼[PR] 「検索にガンガンヒットさせるSEOの教科書
」2008年6月16日発売!▼Google、ロシアRambler Mediaの広告事業を買収 - ZAO Begun
▼ヤフーと電通、クロスメディア型広告「Spot＆Search」を開発
▼PC SEO 対策とモバイル SEO 対策5つの相違点 - アイレップのSEOスタンダード
▼ユーザー動線の変化により対応が迫られるモバイル SEO - アイレップのSEOスタンダード
▼ノキアのWidSets、ウィジェット検索にエム・シー・エヌのMobileSearch.netを採用
▼エム・シー・エヌ、音楽SNS「mob」へ音楽バーティカル検索を提供
▼アドワイアーズ、ドネットワーク開始 - 検索ワードとコンテンツ連動
▼「SEMリサーチ」トップへ戻る
免責事項：SEMリサーチは、本記事中で触れている企業、商品、サービスの全てについて一切の保証をしておりません。各自の判断でご利用下さい。
