SmartNewsロボットのクロールを拒否する方法

SmartNews(スマートニュース)ロボットのクローラCrowsnestを拒否するための具体的な robots.txt と meta の設定方法。クローラを拒絶することでオプトアウトできます。


公開日時:2014年12月26日 20:08

スマートフォン向けニュースアプリ・SmartNews(スマートニュース)ロボットにクロールやインデックスをさせない方法について、公式ページには具体的な記述方法が記載されていないので、紹介します。robots.txt を利用する、または 個別のページの headセクションに記述する、または運営に直接連絡するという3つの方法があります。

robots.txt と headセクションは両方を行う必要はありません。いずれか一方で SmartNews からオプトアウトできますが、簡単なのは robots.txt によるクロール拒否です。


robots.txtファイルによるブロック

Googlebot等の一般的な検索エンジンのクローラを制御するのと同様に、robots.txt を利用して SmartNewsロボットを拒否します。

ドメインのルートに robots.txt を設置して、そのファイルに次のように記述します。

User-agent: Crowsnest
Disallow: /

Crowsnest は SmartNewsロボットのユーザーエージェント(UA)です。Disallow はクロールを拒否することを示し、 / は当該ドメイン全体のクローラ巡回を拒否するという意味になります。もし特定のディレクトリのみ Crowsnest からのアクセスを拒否したい時は、/sample/ といった具合に記述します。


metaタグによるブロック

個別のページの headセクションに次のMETAを記述することで、Crowsnest を拒否することができます。noindex はインデックスを許可しない、nofollow はリンク先をクロールしないことを指示しています。meta name に Crowsnest を指定することで、SmartNews のみに有効となります。

<meta name="Crowsnest" content="noindex, nofollow">

SmartNews は拒否したいが検索エンジン(GoogleやYahoo!)への掲載を拒否したくない場合は、上記例のように name="crowsnest "としてください。万が一 name="robots"とすると、Google も含めてあらゆるクローラを許可しない指示になってしまいます。


直接 SmartNews に連絡する

メールでもコンテンツの配信停止ができるそうです。下記のページをご覧ください。

2014年12月26日時点

SmartNews 技術情報 コンテンツ配信停止の方法
http://partners.smartnews.com/tech_info/stop

コンテンツ配信に対する考え方
http://partners.smartnews.com/tech_info/policy





記事カテゴリ:サーチニュース 2014
他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google「パーソナライズ検索による劇的な検索順位変動は都市伝説」と説明
Google、カナダでローカルサービス広告を提供開始
グーグルとディズニーがデジタル広告分野で提携
Googleインド、モバイル検索でカバディの試合情報を表示する機能追加
goo, 2018年検索ランキングを発表、人物の1位は「羽生結弦」など
ロシアYandex、検索アップデート「アンドロメダ」を発表
Microsoft Bing、年末商戦にあわせてショッピング検索機能を強化
米Google、検索結果にユーザーがコメントを投稿できる機能を準備
プライバシーを守る検索エンジン DuckDuckGo、検索回数3,000万/1日 突破
ペンス米副大統領、中国市場向け検索アプリ開発の中止を求める
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。