米Googleプロダクトマネジャー・Dan Crow氏は2007年7月27日、Google公式ブログにおいて、ロボット排除プロトコル(REP)の1つとして新たにunavailable_after METAタグの運用を開始したことを明らかにした。
unavailable_after METAタグはSEMNEにて明らかにされていたもので、指定した期日以降にインデックスすることを拒否するためのMETAタグ。例えば、2007年8月25日以降のインデックスを拒否したい場合は次のように記述する。
例
<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 25-Aug-2007 15:00:00 EST">
この記述は指定日以降の除外リクエストとして取り扱われ、SERPから消えるのには約1日かかるとのこと。また、unavailable_after METAタグはSERPからは除外するもののシステム上は残るため、もしGoogleシステムから完全に除去したい場合はウェブページ削除リクエストツールを利用しなければならない。
Google インデックスからコンテンツを削除 [ウェブマスター向けヘルプ センター]
http://www.google.co.jp/support/webmasters/bin/topic.py?topic=8459&hl=ja
Robots Exclusion Protocol: now with even more flexibility [The Official Google Blog]
http://googleblog.blogspot.com/2007/07/robots-exclusion-protocol-now-with-even.html