スマートフォン向けニュースアプリ・SmartNews（スマートニュース）ロボットにクロールやインデックスをさせない方法について、公式ページには具体的な記述方法が記載されていないので、紹介します。robots.txt を利用する、または 個別のページの headセクションに記述する、または運営に直接連絡するという3つの方法があります。
robots.txt と headセクションは両方を行う必要はありません。いずれか一方で SmartNews からオプトアウトできますが、簡単なのは robots.txt によるクロール拒否です。
robots.txtファイルによるブロック
Googlebot等の一般的な検索エンジンのクローラを制御するのと同様に、robots.txt を利用して SmartNewsロボットを拒否します。
ドメインのルートに robots.txt を設置して、そのファイルに次のように記述します。
User-agent: Crowsnest
Disallow: /
Crowsnest は SmartNewsロボットのユーザーエージェント（UA）です。Disallow はクロールを拒否することを示し、 / は当該ドメイン全体のクローラ巡回を拒否するという意味になります。もし特定のディレクトリのみ Crowsnest からのアクセスを拒否したい時は、/sample/ といった具合に記述します。
metaタグによるブロック
個別のページの headセクションに次のMETAを記述することで、Crowsnest を拒否することができます。noindex はインデックスを許可しない、nofollow はリンク先をクロールしないことを指示しています。meta name に Crowsnest を指定することで、SmartNews のみに有効となります。
<meta name="Crowsnest" content="noindex, nofollow">
SmartNews は拒否したいが検索エンジン（GoogleやYahoo!）への掲載を拒否したくない場合は、上記例のように name="crowsnest "としてください。万が一 name="robots"とすると、Google も含めてあらゆるクローラを許可しない指示になってしまいます。
直接 SmartNews に連絡する
メールでもコンテンツの配信停止ができるそうです。下記のページをご覧ください。
2014年12月26日時点
SmartNews 技術情報 コンテンツ配信停止の方法
http://partners.smartnews.com/tech_info/stop
コンテンツ配信に対する考え方
