Yahoo! Slurp - Yahoo! のクローラー

米Yahoo! のサイト内に、Yahoo! Search のクローラー "Yahoo! Slurp" に関するページが公開されています。

"Slurp" という名前は Yahoo! が買収した Inktomi のクローラーの User-Agent 名です。つまり Yahoo! は今後 Slurp という名前を引き継ぎ、ページ検索インデックス構築に利用していくのでしょう。

Slurp という名前が残ったことから、従来 robots.txt でクローラーの制御を行っていたサイトは Yahoo! Search の運用にあわせて変更する必要はありません。

なお、Yahoo! Slurp がログに残す記録は以下の通り。
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp )

Yahoo! Slurp - Yahoo!'s Web Robot
http://help.yahoo.com/help/us/ysearch/slurp/

2004.02.19 追記
Yahoo! は Yahoo! Search Technology を採用しました

ref.

Yahoo!、Yahoo! Search に独自検索技術を採用、 Google を外す

Yahoo! Inktomi の試験運用中 (2004/02/12)

Yahoo! の Inktomi ページ検索結果を見る方法 (2004/02/13)