検索エンジンのクローラの動作や行動を制御するためのロボット排除プロトコル（REP、Robots Exclusion Protocol）の中でも、META robots タグを用いた方法の紹介です。2015年1月1日時点でサポートされているものを紹介しています。 nositelinkssearchbox などSEO担当者に関連するMETA要素も含んでいます。
以下、基本的な知識と、noindex, nofollow, nositelinkssearchbox, notranslate, noarchive, nocache, nosnippet, noimageindex, noodp, unavailable_after について個々のMETAタグの機能と役割に加えて、適宜注意事項も記載しています。
最終更新：2015年1月31日
【基本】META Robots タグを記述しない時はクローラを許可する意味に
Webページに META robotsタグ記述が存在しない場合、クローラは対象ウェブページを普通に巡回し、外部へのリンクも辿り、キャッシュもします。つまり index,follow と書くのと同じ意味となります。
例）
<meta name="robots" content="index,follow">
（全てのクローラに対して、インデックスとリンク巡回を許可する）
index,follow がデフォルトのクローラ挙動になります。従って、もし特に制限を設けるつもりがないならば、何も記述する必要はありません。書いても書かなくても同じ意味のディレクティブとして働きます。
【基本】 name属性に検索エンジンを指定する
meta name=のところに robots と書いた場合は、全てのクローラが content= で指定されたディレクティブ（指示）に従います。googlebot と記述すると、Googleクローラのみがディレクティブに従います。
例）
<meta name="robots" content="noindex,nofollow">
（全てのクローラに対して、インデックスしない、リンクを辿らないように指示）
<meta name="googlebot" content="noindex,follow">
（googlebot に対して、インデックスは許可しないがリンクを辿らせるように指示）
【基本】大文字・小文字の区別はない
META Robots タグの各要素や属性は、大文字・小文字の区別はありません。例えば nOfollowS と書いてもクローラはその内容に従ってくれます。また、content属性にディレクティブを複数書く時に、,（カンマ）で区切りますが、スペースの有無も関係ありません。
例）
<meta name="robots" content="index,nofollow">
<meta name="robots" content="index, nofollow">
1行目はカンマのうしろにスペースがありませんが、2行目はスペースをいれています。どちらの記述方法でも問題はありません。
【基本】 メタ情報変更後のロボット巡回依頼は特に不要
ページのメタ情報を変更すると、それが検索エンジンの巡回ロボットに再訪問されることで検索結果に反映されるようになります。一般的なサイト運営者の皆さんが特に検索エンジンにその変更の旨を申請したり、再訪問を要請するための依頼をする必要はありません。数千万以上ものWebページを持つサイトであれば、XMLサイトマップページを使っていると思いますので、それを通じて再訪問が自動的に促されるはずです。
noindex：検索結果で対象ページを非表示にする
noindex は、対象ウェブページを検索結果で非表示にします。厳密に説明すると、「クローラは対象ウェブページを巡回して、インデックス（データベース）に格納するが、検索結果には表示しないようにする」という意味になります。
つまり noindex は文字通り「非表示」にするだけでクロール自体はされます。もしクロール自体を拒否したい場合は、robots.txt で disallow （クロール拒否）の指示を行わなければなりません。
例1) 全てのクローラに noindex を指示
<meta name="robots" content="noindex">
（全てのクローラに対して、対象ページを検索結果に表示しないように指示）
例2) Googlebot に noindex を指示
<meta name="googlebot" content="noindex">
noindex の META robotsタグは次のようなケースで役立ちます。
- キャンペーンページへの誘導を制限したい：例えばメールマガジン購読者向けに特別に用意した割引クーポンを提供するためのページを準備し、そのURLをメルマガで告知した場合などが該当します。あくまでメルマガ購読者向けに用意した特別ページであって、検索エンジン経由でそのページを発見してほしくはないでしょう。こうした場合、対象キャンペーンページに noindex ディレクティブを記述することで、検索経由の来訪者を制限できます。
- 低品質なページを検索結果に反映させたくない：ヒット件数がゼロ件のサイト内検索結果ページや、サイト内に点在する重複コンテンツの1つに過ぎないページ、来訪者の回遊に何ら意味のないアーカイブやカテゴリページといった、検索結果に表示するには不適当と考えられるページに対して noindex を付与します。パンダアップデート対策にも有効です。
- 特定利用者の為に用意されたページ：例えば B2B/C サイトで「一般ユーザー向けのログインページ」「SOHO・個人事業主のログインページ」「法人向けログインページ」といった具合に、用途・顧客別のログインページを個別に設けているような場合が該当します。1つ1つの個別ログインページは noindex で非表示として、代わりに「総合ログイン案内ページ」（それぞれの顧客向けのログインページへ誘導するリンクが設置されている）を検索結果に表示されるようにすることで、不適切なログインページへアクセスしてしまい、何度 ID とパスワードを入力してもログインできないといった事態を避けることができるでしょう。
繰り返しますが、noindex は「非表示」なので、検索エンジンによっては一定の条件を満たした場合にそのまま URL を表示することもあります。個人情報などセンシティブな情報を扱うページは noindex ではなく、認証をかけるなどの方法で閲覧を制限することを推奨します。
以下、よくある質問とその答え。
Q) Google のインデックス登録システムが新しくなり、ウェブページをレンダリングするようになった関係で、全てのページのクロールを許可するように聞いた。noindex をすることで、インデックスや検索順位に影響することがあるか？
A) 全くない。なぜなら (1) noindex は検索結果に非表示にするものでレンダリング云々とは関係がないし、(2) Google 自身も世の中には様々な理由・事情で noindex が必要とされるケースがあることも理解しているし、(3) パンダアップデート対策アドバイスとして noindex を使うことを Google がアドバイスしている。必要に応じて自由に noindex を利用して構わない。
Q) 機械的に数万単位で生成された、SEO用のページがある。パンダアップデートが怖いので対応したいが、削除しなくても noindex をつければ十分か？
A) 理論上は noindex を書いても物理的にページを削除しても同じ解釈だと思う。ただ、「検索エンジン対策のために自動生成させている」という悪意の認識があるならば、物理的に生成されないように対処すれば将来的には良いのでは？
Q) Webページを検索結果から今すぐ削除したい。noindex を加えれば十分か？
A) ページを検索結果から削除したい時は、noindex ではなくて、Googleウェブマスターツールで提供されている「URLの削除」（古いコンテンツの削除）を利用すること。
Q) 重複した内容を持つ複数のページがある。意図したページが検索結果に表示されるようにするために、rel=canonical (URL正規化）の利用と同時に noindex robots metaタグも使うべきか？
A) いいえ。重複コンテンツ問題を解消するのであれば、rel=canonical のみで十分。noindex はインデックスの扱いについて指示を出すものだが、rel=canonical は優先表示すべきURLのヒントを出すもので、両者は性格が異なる点に注意。
Q) パソコン向けとスマホ向けの2つのWebサイトを別のURLで運営している。スマホ向けサイトへのクローラ訪問は拒否していて、パソコン向けのみを巡回させるようにしているが、問題はないか？
A) スマホ向けサイトもクロールを許可することを推奨する。Google はスマホ向けサイトのユーザビリティを解析したい意向を持っており、検索ロボットの巡回許可をするように啓蒙している。将来的に問題が発生する可能性があるので、noindex や robots.txt などでブロックしないように対応してほしい。
Q) 特定の国から来訪する Googlebot を META Robots タグでブロックすることは可能か？
A) 地域分散クロールや言語依存クロールを META Robots タグは無論 robots.txt では技術的にアクセス拒否できない。それをすべき正当な理由はないのでは？
nofollow：ページ内の発リンクを巡回させない / リンク評価に影響を与えない
META robotsタグの nofollow は、ページ内の発リンク（外部のページへ向かうリンク）を巡回させないディレクティブです。近年は、アルゴリズムのリンク評価に影響を与えないようにするための指示としての重要性が高くなっています。
例1） ページ上の全てのリンクを nofollow にする
<meta name="robots" content="nofollow">
（全てのクローラに対して、ページの発リンクを巡回しないように指示）
例2) ページ上の特定リンクのみ nofollow にする
<a href="www.example.com/" rel="nofollow">
noindex 同様に、クローラのアクセス自体を拒否したい場合は、robots.txt で disallow を指定する方が確実です。
nofollow の META robotsタグは次のようなケースで役立ちます。
- ガイドライン違反を回避する（広告の扱い）：検索エンジン（特にGoogle）は、金銭授受により取引されたリンクによって検索順位を操作する行為を厳しく取り締まっています（いわゆる有料リンク問題）。例えば「記事広告から広告主へリンクを張る」「金銭を得た結果としてリンクを設置する」といった場合、そのサイトオーナーは各々のリンクに rel="nofollow" を加えて、その対象リンクが検索順位に影響を及ぼさないように明示することで、ガイドラインを守ることができます。
- ガイドライン違反を回避する（スパムへの加担）：特にUGC（User-Generated Content）を扱うサイトオーナー、例えば無料ブログサービスの運営や、誰もが自由に参加・書き込みできるコミュニティサイトや掲示板サイトを運営している場合に有効です。不特定多数のユーザーが書き込み可能な場所はウェブスパム（ここではSEOのターゲットサイトへの不正リンクを大量設置する行為）の温床となりやすく、それらスパムリンクを放置することで問題のあるサイトとみなされる可能性があります。ユーザーが投稿する場すべてに nofollow を適用してランキング計算対象から外しておくことで、ガイドラインへの抵触を回避することがでます。
- 問題ありと指摘されたリンクを無効にする：人工リンクのような不適切な外部リンク構築に手を染めてしまった結果、Google からガイドラインへの違反を指摘されたり、自動的にアルゴリズムで検索順位を下げられる（いわゆるペナルティ）ことがあります。こうした問題に対処するためには、問題のあるリンクそのものを削除しなければなりませんが、記事広告のような広告としてユーザーにリンクを提示する意味があるようなケースでは nofollow を加えてランキングには影響を及ぼさないように対処することも有効です。
以下、よくある質問とその答え。
Q) 某大手ディレクトリ会社（既に閉鎖）が URL/?rel=nofollow という記述をしていた（例 www.example.com/?rel=nofollow ）が、これもリンク巡回拒否と同じ指示になるか？
A) 勘違い。そういった記述方法はない。
Q) PageRankスカルプティング（sculpting）なる対策がSEOに有効だという記事を読んだ。今でも効果があるのか？
A) 2010年以前にすでに否定された。Google・マットカッツ氏自身がかつて推奨してしまったためにSEO業界で広がったのだが、PageRankスカルプティングは検索エンジンのためだけの行為にすぎないので、その後、同氏自身が否定している。PageRankの流れをコントロールするために nofollow の記述を最適化する行為は意味がない（効果がない/時間の無駄）。
Q) クロールを拒否することでインデックス登録や検索順位に悪影響はないのか？CSS や画像、JavaScript を全てクロール許可しなければならないと聞いた。
A) 問題ない。この手の疑問を思い浮かべる方は、 REP の趣旨と役割を理解してほしい。「ロボット制御プロトコル」（REP）という検索各社がサポートする標準仕様に基づいているのだから、ディレクティブの意図と当然期待される結果と影響以外の、予想外の不利益をサイトオーナーが被ることがないように検索エンジンも配慮している。また、REP はあくまでクローラの制御であって、ランキングの制御ではない。
さて、日米問わず勘違いが多い話だが、(1) Google はあらゆるファイルをクロール許可せよとは一言も言っていないし、(2) クロール拒否全般が悪いこととも言っていない。Google がウェブマスターに伝えたいことは、JavaScript や CSS もレンダリング（描写）するようになったので、ウェブページの主コンテンツを把握できるように許可することを推奨しているだけで、あらゆるものを許可せよとはいっていない。同社自身も、例えば広告関連技術やサードパーティーのASPを利用しているために許可/拒否の制御がサイトオーナーでは行えない場合があることも理解しており、そうしたものは「放置してよい」と説明している。
Q) nofollow を加えると、そのリンク先ページはインデックスされないのか？（ページ上から巡回を拒否する＝クロールしないのだから、インデックスもされないという理解であっているか？）
A) いいえ。あくまで対象ページに書いてあるリンクを辿らない（nofollow）という意味なので、その対象ページにリンクを張っている他のページが存在すれば（その他のページ経由で見つけて）インデックスすることになる。リンク先ページも検索結果に表示させたくないなら、そのページにも noindex を加えること。
noindex,nofollow / none：検索結果に表示もさせないし、リンクも辿らせない
noindex、nofollow を組み合わせて、検索結果への表示も拒否し、ページ上の発リンク巡回も拒否することができます。noindex と nofollow の間に , （カンマ）を入れます。none と記述しても同じです。
例1） <meta name="robots" content="noindex,nofollow">
（全てのクローラに対して、ページの発リンクを巡回しないように指示）
例2） <meta name="robots" content="none">
※ none と記述しても noindex,nofollow の意味になります。
noindex,follow：クローラの導線は確保したい時に利用
サイト内の各ページへリンクを張っているサイトマップ（ユーザー向けのサイトマップ）それ自体は検索結果で表示したくないけれども、そのリンクをクローラに辿らせたい時には noindex, follow の組み合わせが有効です。
例）<meta name="robots" content="noindex,follow">
商品検索結果一覧ページは検索結果に掲載したくないが、（クローラの）個別商品へのリンク導線は確保したい時などが想定されます。
nositelinkssearchbox：検索結果にサイトリンク検索ボックスを表示させない
サイトリンク検索ボックスを表示させたくない場合は、次のコードをheadセクションに記述します。
<meta name="google" content="nositelinkssearchbox">
※ サイトリンク検索ボックスは Google しか提供していないので name="google" になっている
そもそも「サイトリンク検索ボックスって何？」という方も多いと思いますが…2014年9月中旬から、一部のサイトが検索結果に表示される時に、サイトリンク検索ボックスを伴って表示されるようになりました。メジャーなサイトの多くに表示されるもので、その検索窓から検索すると、対象サイトのドメイン名 site: で絞り込んだ Google検索結果、あるいはそのサイト独自のサイト内検索結果にリダイレクトされるようになります。
このサイトリンク検索ボックス、実はあまり評判が良いものではなく、例えば Amazon.co.jp など本機能のリリース直後に削除している大手サイトもちらほらあります。理由は、(1) site: 検索結果の場合はライバル企業の広告も検索結果に表示される、(2) 独自サイト内検索結果に誘導しても適切な絞り込み条件やカテゴリが適用できない、(3) そもそも利用者がいない（機能に対する検索利用者の認知が低いため）といった事柄が挙げられます。
サイトリンク検索窓が表示されることで、かえってユーザー体験が損なわれる可能性があります。従って、自分のサイト名や会社名で検索をして、サイトリンク検索ボックスが表示されるか否かを確認のうえ、表示されるのであれば実際に検索をしてみましょう。もし site: で表示するのであれば、基本的に nositelinkssearchbox で表示させなくて問題がありません。独自サイト内検索に誘導する場合でも、本当にユーザー体験の向上に寄与しているかどうか GA などのウェブ解析で検証すると良いでしょう。
cf. Google、サイトリンクの検索ボックスを拒否可能に METAタグ nositelinkssearchbox 追加
notranslate：翻訳版へのリンクを表示させない
ユーザーのブラウザ設定言語とページのコンテンツ言語が異なる場合に、検索結果に翻訳版へのリンクが表示されることがありますが、このリンクを非表示にするのが notranslateです。
<meta name="google" content="notranslate">
自動翻訳が上手くいかないような言語やトピックを扱っていて、翻訳版で閲覧してほしくないようなケースで使うと良いでしょう。リンク表示を制御するディレクティブなので、検索順位には影響しません。
noarchive (nocache)：Googleにページキャッシュをさせない
Google 検索結果には、クローラが取得したキャッシュ（Googleが最後にクロールした時に表示されていたページ）を閲覧するリンクがあります。そのキャッシュへのリンクを表示させないのが、noarchive ディレクティブです。Google はnoarchive 、Bing は nocacheとnoarchive どちらでも OKです。
例1) <meta name="robots" content="noarchive">
（全ての検索エンジンにキャッシュリンクを許可しない）
例2) <meta name="googlebot" content="noarchive">
（Googleのみキャッシュリンクを許可しない）
例3) <meta name="robots" content="nocache">
（Bing は noarchive も nocache も同様に扱う）
速報系ニュースメディアのように、公開直後に何らかの変更が加えられる可能性を持つ特性のメディアを運営している場合は、noarchive を加えることで古くなった情報をキャッシュ経由で閲覧させることを制限できます。また、某ナントカ協会系の方面より「Googleにキャッシュを拒否すると検索順位が下がる」というデタラメの情報が流れていると耳にしたことがありますが、(1) キャッシュ拒否サイトの検索順位を下げるべき合理的理由がない、(2) そもそも noarchive はキャッシュへのリンクを非表示にするのであって、キャッシュを拒否するわけではない、(3) キャッシュ拒否している新聞社のサイトの順位は全く落ちていないなどこのデタラメを証明できるデータは山ほどある、ということで誤った情報に惑わされないようご注意くださいませ。
nosnippet：Google検索結果にスニペット（説明文）を表示させない
nosnippet ディレクティブは、検索結果のスニペット（説明文を表示する欄）を表示させない記述です。スニペット枠の情報を表示しないという指示なので、テキスト説明文だけでなく、ページのサムネイル（画像、該当時）など同欄内の全ての情報が非表示となります。Google と Bing 共にサポートしています。
例）
<meta name="robots" content="nosnippet">
一般的には使わないと思います。クリック率を下げたい時とか？（どんな時だ）。不適切な説明文テキストが表示される、例えば日本語サイトなのに英語版が表示されるといったケースに利用を検討する方がいるかもしれませんが、その場合は nosnippet を使うのではなくて、該当ページ内の調整をして解決すべきことだと思います。
noimageindex：画像検索結果に画像を表示させない
noimageindex は画像検索結果に画像を表示させないためのディレクティブです。Google のみサポートしている模様です（詳細不明）。
例）
<meta name="robots" content="noimageindex">
画像をインデックスから即座に削除したい場合は、ウェブマスターツールから「削除リクエスト」を使います。
noodp：DMOZ(ODP)に掲載された説明文をスニペットに用いることを拒否
noodp は、生ける屍のような状態のディレクトリサイト・DMOZ (Open Directory Project）に掲載されている説明文をスニペットとしてウェブ検索結果に利用されるのを拒否するための指示です。Google と Bing 共にサポートしています（参考：Google、ODP情報を表示させないMETAタグのサポートを開始）。
例）
<meta name="robots" content="noodp">
2015年1月現在、noodp は次のような取り扱いが望ましいと考えます。
ODP ディレクトリにサイトが掲載されていない場合：noodp META robotsタグを記述する必要はありません。
ODP ディレクトリにサイトが掲載されている場合：デフォルトで noodp の利用を検討し、意図しない（不適切な/不相応な）説明文がスニペットに表示されることを防止します。
背景は次の通り。
- DMOZ / ODP が何かわからない方も多いと思いますので、最初に検索エンジンと ODP の関係について整理します。Google は、ウェブ検索結果に表示するリンク先URLが ODP にも登録・掲載されている場合、同社のアルゴリズムで自動生成した説明文ではなく、ODP に掲載された説明文をスニペットとして表示することがあります。それを拒否して、Google の自動生成アルゴリズムに委ねるよう指示するのが noodp という META robots タグです。
- 大抵のケースで ODP の紹介文は検索結果に引用・表示する文章として不相応・不適切であることから、（サイトがODPに掲載されているならば）noodp の利用をお勧めします。理由は2つあります。
- 理由(1) 不適切な説明文が表示される可能性がある：第1に、現在登録されているサイト紹介文は ODP に初めて掲載された当時のままであることが多く、現在のサイトの内容を反映していない不相応な（古い）紹介文である可能性が高いからです。長く運営してくれば企業の業務内容も変わるでしょうし個人サイトで扱う話題も変化していることが多いでしょう。
- 理由(2) DMOZ掲載文のメンテナンスは現実的ではない：「ならば DMOZ の紹介文を修正してもらえばいいじゃないか」と考えるかもしれませんが、2015年1月現在の DMOZ は積極的に活動しているわけではなく、説明文の修正依頼をかけてもなかなか反映されません（カテゴリによる）。仮に反映されたところで、ここは広告スペースではなくディレクトリ検索サイトですから、簡潔に、客観的な、ざっくりとした紹介文に置き換わるだけです。
- 以上の理由から、noodp ディレクティブを使用して検索エンジンに ODP掲載データを使わないように指示し、アルゴリズムによる自動生成に委ねた方が効果的かつ効率的と言えます。
ODP は2015年1月現在、キーワードを入れて検索しても常にゼロ件表示でまったく動作していませんし、市場における役割は既に終了したに等しい状況にあります。そんな ODP にこれから新規に登録する価値は SEO 的にも全くありませんので、まだ未登録の場合はスルーで全く問題ありません。
unavailable_after：指定時間経過後にインデックスから削除する
unavailable_after は比較的新しいロボット排除プロトコルの1つです。2007年に Google から正式に発表されたもので、指定した時間を過ぎた後は自動的にウェブ検索結果から当該ページを消す働きをします。Google のみサポートしています。
例）
<meta name="googlebot" content="unavailable_after">
例）日本時間の2015年8月1日午前7時を過ぎたら非表示にしたい場合
<meta name="googlebot" content="unavailable_after: 1-Aug-2015 07:00:00 JST">
unavailable_after: の後ろに続けて RFC 850フォーマット（DD-Mon-YY HH:MM:SS TIMEZONE）で時間を指定します。TIMEZONE は 米国東部標準時間（EST）、東部夏時間（EDT） などの3文字で指定します。日本は上記例の通り、JST = Japan Standard Time 日本標準時です。
unavailable_after METAタグは次のようなケースで役立ちますが、注意すべき事項もあります。
- 期間限定で情報発信したいウェブページの制御に適しています。例えば、一定時間経過後は必ず終了するであろうオークション出品ページや、求人情報ページなどが挙げられます。期間限定のクーポン配布サイトや、7日間限定の大バーゲンセール会場サイト、5日間だけは無料で誰でも閲覧できる会員制メディアの記事なども適しているでしょう。
- 企業にとって有効期限が切れたことが、そのままユーザーにとって不要になるわけではない点に注意してください。例えば、毎年新版が発売される年賀状作成ソフトウェアが、新版が出るたびに旧版サイトを検索結果で非表示にすることは正しくありません。古いバージョンのソフトウェアを使い続けるユーザーもいますし、彼らはその旧版の情報（仕様、トラブルシューティング、活用方法、取扱説明書）を求めて検索するものです。
- 期間限定のイベントやプロモーションであっても、それ自体が定期的に開催されるのであれば、unavailable_after を利用するのではなく、告知や採用方法を検討することを勧めます。たとえば毎年ホリデーシーズンにキャンペーンを開催するのであれば、終了後は（タイトルや内容を書き換えて）翌年の開催予定時期をお知らせする方がユーザーにメリットがあるかもしれません。
cf. グーグル、"unavailable_after" METAタグの正式運用を開始
noindex 同様に、検索結果に非表示になるだけでインデックス登録システム自体には残るので、完全に削除したい場合はウェブマスターツールで提供されている削除リクエストを利用する必要があります。
hatena / nodiff：はてなアンテナに更新内容を表示しないようにする
「はてなアンテナ」とは、あらかじめ登録しておいたサイトを定期的に自動巡回し、更新があった時はその旨の通知と更新内容（変更箇所）を教えてくれる Webサービスです。このはてなアンテナページ上に自分のサイトの更新内容を表示させたくない場合は nodiff を使います。
例1）
<meta name="hatena" content="nodiff">
また、difflength を指定すると、表示させる更新内容の最大文字数を指定することができます。
例2）
<meta name="hatena" content="difflength=100">
上記の例では、=100、つまり半角全角文字あわせて最大100文字までに表示を制限できます。
hatena / notranslate：はてなMobileGatewayにサイトを自動変換させない
はてなMobileGatewayは PC向けに作成されたウェブページをガラケーからでも読みやすい形に自動変換してくれるサービスです。しかし、勝手にページ上の広告を非表示にしたり意図しない形で切り取るなど、サイトオーナーからは歓迎されないかもしれない動作をします。この自動変換を拒否するためには、次の robots META タグを使用します。
<meta name="hatena" content="notranslate">
name属性に hatena を、 content属性に notranslate を入れます。
SmartNews のクローラを拒否する
SmartNews に掲載を希望しない場合は、同サービスのウェブクローラ UA "Crowsnest" を name に指定して noindex nofollow を記述します。
<meta name="Crowsnest" content="noindex, nofollow">
【応用】複数のディレクティブを指定することが可能
1つの META robotsタグに複数のディレクティブを指定することが可能です。
<meta name="robots" content="noindex, follow, notranslate, noodp, noarchive">
,（カンマ）で区切って複数の指示を並べることができます。上記例はカンマの前にスペースを入れていますが、Google によるとスペースはなくても良いとのことです。また、大文字・小文字も関係ありません。
【応用】相反するディレクティブを記述した場合は robots（クローラ全般）設定が有効
1つのページに複数の META robotsタグが相反する内容で記述された場合、Google は robots の内容に従います。name="robots" で指定した内容が累積適用される仕様のため、直後に googlebot や bingbot などの個別クローラへの指示を書いても robots の内容が優先されます。
例1） 次の2行を記述した場合
1行目：<meta name="robots" content="noindex, nofollow, noodp">
2行目：<meta name="googlebot" content="index, nosnippet">
1行目 name="robots" では noindex, nofollow に対して、次の行 name="googlebot" は index と記述しており、1行目と反する指示になっています。Google は META robotsタグにおいては条件分岐させずに累積的に指示に従う仕様になっているため、上記例の場合は googlebot も noindex, nofollow, noodp, nosnippet のディレクティブに従うことになります。
『クローラ全般に対して指示を出す name="robots" を利用する時は、個々のクローラ毎に制限を設けることはできない』ということを覚えておきましょう。クローラごとに制御する場合は robots.txt を使います。
ちなみに、name="robots" 同士で相反する内容を記述した場合は、制限が厳しい方が優先されます。
例2） 次の2行を記述した場合
1行目：<meta name="robots" content="noindex, nofollow">
2行目：<meta name="robots" content="index, follow">
上記のように、1行目では noindex / nofollow を、2行目で index follow と書いてある場合、検索エンジンは制限をするように指示している1行目、noindex nofollow に従います。
alternate / hreflang：多言語サイトのインデックスを適切に行うための指示
参照：グーグル、「rel=alternate hreflang=x」サポートを拡張、多言語サイトを適切にインデックス可能に
Robots meta tag and X-Robots-Tag HTTP header specifications
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
Appendix: Google's website crawlers
https://developers.google.com/webmasters/control-crawl-index/docs/crawlers
Multiple robots meta tag?
https://productforums.google.com/forum/#!topic/webmasters/ApSmuoRvGmU
メタタグを使用して検索インデックス登録をブロックする
https://support.google.com/webmasters/answer/93710?hl=ja
Google がサポートしているメタタグ
https://support.google.com/webmasters/answer/79812?hl=ja
Using the robots meta tag
http://googlewebmastercentral.blogspot.jp/2007/03/using-robots-meta-tag.html
Bing Robots Metatags
http://www.bing.com/webmaster/help/which-robots-metatags-does-bing-support-5198d240
#
[UPDATE] "Robots" が抜けていたので、タイトルを "META Robots タグ活用完全ガイド～"に変更しました。
