米Googleは2010年6月7日、サイト管理者向けツール「Googleウェブマスターツール」において、「ソフト404エラー」を表示する機能を追加した。クロールエラーのページから参照可能。
ソフト404エラーとは、存在しないページにアクセスした時に、サーバがhttpレスポンス 200 OK を返すものを指すもの。大量の存在しないページがあった場合、クローラがそれら重複(※ サーバが200を返す以上、それもコンテンツとなるため、存在しないページの重複となる)ページを巡回することで結果的にユニークなコンテンツへのクロールを制限することにつながる。
検索エンジンは、存在しないページにアクセスした際は、サーバが 404 Not Foundエラーを返す(ハード404)ように推奨している。
Crawl Errors now reports soft 404s [Google Webmaster Central Blog]
http://googlewebmastercentral.blogspot.com/2010/06/crawl-errors-now-reports-soft-404s.html