SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

SmartNewsロボットのクロールを拒否する方法

スマートフォン向けニュースアプリ・SmartNews(スマートニュース)ロボットにクロールやインデックスをさせない方法について、公式ページには具体的な記述方法が記載されていないので、紹介します。robots.txt を利用する、または 個別のページの headセクションに記述する、または運営に直接連絡するという3つの方法があります。

robots.txt と headセクションは両方を行う必要はありません。いずれか一方で SmartNews からオプトアウトできますが、簡単なのは robots.txt によるクロール拒否です。

robots.txtファイルによるブロック

Googlebot等の一般的な検索エンジンのクローラを制御するのと同様に、robots.txt を利用して SmartNewsロボットを拒否します。

ドメインのルートに robots.txt を設置して、そのファイルに次のように記述します。

User-agent: Crowsnest

Disallow: /

Crowsnest は SmartNewsロボットのユーザーエージェント(UA)です。Disallow はクロールを拒否することを示し、 / は当該ドメイン全体のクローラ巡回を拒否するという意味になります。もし特定のディレクトリのみ Crowsnest からのアクセスを拒否したい時は、/sample/ といった具合に記述します。

metaタグによるブロック

個別のページの headセクションに次のMETAを記述することで、Crowsnest を拒否することができます。noindex はインデックスを許可しない、nofollow はリンク先をクロールしないことを指示しています。meta name に Crowsnest を指定することで、SmartNews のみに有効となります。

<meta name="Crowsnest" content="noindex, nofollow">

SmartNews は拒否したいが検索エンジン(GoogleやYahoo!)への掲載を拒否したくない場合は、上記例のように name="crowsnest "としてください。万が一 name="robots"とすると、Google も含めてあらゆるクローラを許可しない指示になってしまいます。

直接 SmartNews に連絡する

メールでもコンテンツの配信停止ができるそうです。下記のページをご覧ください。

2014年12月26日時点

SmartNews 技術情報 コンテンツ配信停止の方法

http://partners.smartnews.com/tech_info/stop

コンテンツ配信に対する考え方

http://partners.smartnews.com/tech_info/policy

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。