百度(baidu)日本法人、「クローラの過剰アクセス問題」への対応を表明

百度日本法人が日本のサイト運営者に対してメッセージを発表。baiduspiderの過剰アクセス問題に対しての対応を表明。


公開日時:2007年02月18日 06:02

中国最大手の検索エンジン「百度(baidu)」日本法人・百度株式会社が同社日本語サイトにおいて、クローラの過剰アクセスについての説明と今後の対応について発表した。

百度のWebページ収集クローラ「Baiduspider」はWebサイトへ過剰なアクセスを繰り返し行うことでWebサーバに多大な負荷がかかることが問題視され、サイト運営者の間で話題となっていた。こうした問題に対して百度日本法人は「この度百度Spiderが御社のサイトにご迷惑をおかけしましたことに関して誠に申し訳なく思っております」と陳謝。今後の対応について、「クローラのアクセス頻度を9回/秒から1回/秒までに下げること」「中小のサイトに対し、クローラー頻度は20秒/回以内にコントロール」「圧縮クローラー機能を追加することで同じ負荷でサイトのアクセス量をもともとの1/3に下げる」などの調整を行ったと説明している。

弊社はここまで現れた問題について以下のように調整しました:

1. 各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
2. 各サイトの規模とIP負荷に対し、それぞれ対応できるクローラー対策を設定し、中小のサイトに対し、クローラー頻度は20秒/回以内にコントロールしています。
3. サイトに対し圧縮クローラー機能を追加して、同じ負荷でサイトにのアクセス量はもともとの1/3に下げさせます。
4. 各サイトに対し、毎日のクローラー総量をコントロールし、もしサイトの最大制限を超えると、当日で調整させます。
5. もし各サイト管理者はBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、webmaster-jp@baidu.comまでにご連絡して頂きたいと思います。


百度 日本のサイト管理者へのメッセージ
http://baidu.jp/

cf.
百度 日本法人、「Baiduspider問題」への対応を表明 [サーチエンジン情報館]





記事カテゴリ:サーチニュース 07H1
他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google「パーソナライズ検索による劇的な検索順位変動は都市伝説」と説明
Google、カナダでローカルサービス広告を提供開始
グーグルとディズニーがデジタル広告分野で提携
Googleインド、モバイル検索でカバディの試合情報を表示する機能追加
goo, 2018年検索ランキングを発表、人物の1位は「羽生結弦」など
ロシアYandex、検索アップデート「アンドロメダ」を発表
Microsoft Bing、年末商戦にあわせてショッピング検索機能を強化
米Google、検索結果にユーザーがコメントを投稿できる機能を準備
プライバシーを守る検索エンジン DuckDuckGo、検索回数3,000万/1日 突破
ペンス米副大統領、中国市場向け検索アプリ開発の中止を求める
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。