SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Yahoo!Search (Inktomi) クイック FAQ (クローラー編)

先日紹介した、Yahoo! Slurp - Yahoo!'s Web Robot のページですが、簡単に FAQ 形式で(適当に)日本語にしてみます。重要なところは適宜コメントつけています。

Q) なぜ Yahoo! クローラーは私のサイトに来るの?

A) Yahoo! Slurp はページ検索インデックスを作成するためのロボット。世界中のWebページを集めて検索可能なインデックスを作り、Yahoo!サーチで利用できるようにするのだよ。

Q) Yahoo! Slurp に来ないで欲しい。インデックスさせない方法は?

A) 次の記述を robots.txt にどうぞ

User-agent: Slurp

Disallow: /cgi-bin/

Q) Yahoo! Slurp のリクエスト数を減らして

A) 複数の Yahoo! Slurp を使ってクロールするので、様々なIPからのYahoo! SlurpがあなたのWebサイトに訪れてしまいます。

クローラーに対してリクエスト数のリミットを設けたいなら例えば

User-agent: Slurp

Crawl-delay: 20

と記述してね。20 は20秒毎をさします。

Q) Yahoo! Slurp にキャッシュさせない方法は?

A) <META NAME="robots" CONTENT="noarchive"> と記述してね

# SEOルートディレクトリ で Yahoo!JAPAN がキャッシュを導入したことに関する考察 がありましたが、米Yahoo! は引き続き Inktomiベースでもキャッシュを提供するようですね。ということは、Yahoo!JAPAN のキャッシュ導入は将来のための布石だったのですね。将来 Inktomi で(Yahoo!JAPAN が Inktomi にするか知りませんが)キャッシュを提供するならとりあえず現時点でも Google 使って提供しておこうといったところでしょうか。

Q) 動的ページはクロールする?

A) するよ

# 動的ページを適切にクロールさせる方法についての記述があります。

If your web site is based on dynamic links and you want your site to appear in our search engine, one approach is to have some static pages which have links to your dynamic pages. Some static pages can provide information about your web site and services, others can provide indices or directories into your site.

静的ページから動的ページにリンクを張れ、と。従来通りです。

Q) Yahoo!Slurp はどうやってページ見つけるの?

A) HREF を辿ります。SRC は読みません。

# SRC を読まないのでフレーム使っている方は注意。

Yahoo! Slurp follows HREF links. It does not follow SRC links. This means that Yahoo! Slurp does not retrieve or index individual frames referred to by SRC links.

ref.

Yahoo! Search、独自検索技術を採用 - Google を外す

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。