SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Yahoo! Slurp - Yahoo! のクローラー

米Yahoo! のサイト内に、Yahoo! Search のクローラー "Yahoo! Slurp" に関するページが公開されています。

"Slurp" という名前は Yahoo! が買収した Inktomi のクローラーの User-Agent 名です。つまり Yahoo! は今後 Slurp という名前を引き継ぎ、ページ検索インデックス構築に利用していくのでしょう。

Slurp という名前が残ったことから、従来 robots.txt でクローラーの制御を行っていたサイトは Yahoo! Search の運用にあわせて変更する必要はありません。

なお、Yahoo! Slurp がログに残す記録は以下の通り。

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp )

Yahoo! Slurp - Yahoo!'s Web Robot

http://help.yahoo.com/help/us/ysearch/slurp/

2004.02.19 追記

Yahoo! は Yahoo! Search Technology を採用しました

ref.

Yahoo!、Yahoo! Search に独自検索技術を採用、 Google を外す

Yahoo! Inktomi の試験運用中 (2004/02/12)

Yahoo! の Inktomi ページ検索結果を見る方法 (2004/02/13)

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。