ブログ"SEOルートディレクトリ by ジェフ・ルート" から。ホワイトハウスは robots.txt を使って検索エンジンへの登録拒否を行っています。
ホワイトハウスのWebサイトで公開していたイラク戦争に関する文書で「戦闘は終了した」という記述のあったページを国内の批判を受けて「主要な戦闘は終了した」と書き直したのに、Google のキャッシュに「戦闘は終了した」と記述したページのキャッシュが残っちゃったので、変更したという証拠が残ってしまったと。そこで今度はGoogleにキャッシュさせて証拠が残らないように、robots.txt 登録拒否をするようになったようです。
The White House website effectively prevents search engines indexing and archiving material on the site related to Iraq. (skip) The White House's robots.txt file lists a huge number of directories all related to Iraq.)http://www.whitehouse.gov/robots.txt
[Source]
