米Googleが新たにX-Robots-Tagをサポートする。これはPDFや音声、動画、XLS文書などMETAタグをサポートしない非HTML文書のクローラアクセス制御を行うためのもの。例えば文書をインデックスさせたくない場合は X-Robots-Tag: noindex を、スニペット（説明文）やキャッシュを表示させたくない場合は X-Robots-Tag: noarchive, nosnippet、指定期日以降のインデックスを希望しない場合は（例） X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMTと記述する。
More Info On Google's Unavailable After Meta Tag & New X-Robots-Tag In Header Support
