中国最大手の検索エンジン「百度（baidu）」日本法人・百度株式会社が同社日本語サイトにおいて、クローラの過剰アクセスについての説明と今後の対応について発表した。
百度のWebページ収集クローラ「Baiduspider」はWebサイトへ過剰なアクセスを繰り返し行うことでWebサーバに多大な負荷がかかることが問題視され、サイト運営者の間で話題となっていた。こうした問題に対して百度日本法人は「この度百度Spiderが御社のサイトにご迷惑をおかけしましたことに関して誠に申し訳なく思っております」と陳謝。今後の対応について、「クローラのアクセス頻度を9回/秒から1回/秒までに下げること」「中小のサイトに対し、クローラー頻度は20秒/回以内にコントロール」「圧縮クローラー機能を追加することで同じ負荷でサイトのアクセス量をもともとの1/3に下げる」などの調整を行ったと説明している。
弊社はここまで現れた問題について以下のように調整しました：1. 各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
2. 各サイトの規模とIP負荷に対し、それぞれ対応できるクローラー対策を設定し、中小のサイトに対し、クローラー頻度は20秒/回以内にコントロールしています。
3. サイトに対し圧縮クローラー機能を追加して、同じ負荷でサイトにのアクセス量はもともとの1/3に下げさせます。
4. 各サイトに対し、毎日のクローラー総量をコントロールし、もしサイトの最大制限を超えると、当日で調整させます。
5. もし各サイト管理者はBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、webmaster-jp@baidu.comまでにご連絡して頂きたいと思います。
百度 日本のサイト管理者へのメッセージ
cf.
百度 日本法人、「Baiduspider問題」への対応を表明 [サーチエンジン情報館]
