SEO、検索連動型広告からソーシャルメディアまで、デジタルマーケティングに役立つ様々なデータを提供している米Raven Tools は2012年12月7日、Googleオーガニック検索順位を計測できるSERP Tracker toolの提供を中止すると発表した。検索結果をスクレイピングして検索順位を抽出する行為は、AdWords API の利用規約に違反すると Google から指摘を受けたため。
Raven Tools は、スクレイピングによるオーガニック検索順位測定のほか、別のSEM関連ツールプロバイダー・SEMRushから提供を受けていたデータも削除することも表明。Google から引き続き AdWords API アクセス許可件を得るために、利用規約違反に該当するすべてのデータを Raven Tools プラットフォームから削除するという道を選択した。
Raven Tools は長年に渡り、SEM関連データの提供事業を展開しており、様々なデータを1つのプラットフォームから参照できることから人気を集めた。Google のデータについて同社は、AdWords API を用いた正規のデータ取得と、スクレイピングによるデータ取得を組み合わせて Raven Tools から参照できるようにしていた。
事の発端は、例年実施している Google AdWords audit を申請した時のことだ。この審査にパスすれば引き続き AdWords API にアクセスすることができるが、却下された場合は API アクセス権を失うことになる。Raven Tools は過去2年にわたり Google の審査をパスしており、今回も問題なく審査を通過するものと想定していたとい。
ところが今回、Google は Raven Tools の審査を通さなかった。Google は7日内に AdWords API のアクセス権を取り消すとの通知を行ったのだ。これに対し Raven Tools 側が Google に詳細を問い合わせたところ、「AdWords API 規約に従うために、Googleからスクレイピングしたデータ、あるいは他社から取得したスクレイピングデータの提供を中止して下さい」との回答を得たという。
Raven Tools は、(1) AdWords API アクセス権を放棄して、スクレイピングデータを提供する、(2) AdWords API アクセス権を保持するために、スクレイピングデータの提供を中止する、という2つの選択肢を検討した末、後者 - スクレイピングデータの提供中止の決断を選択することとなった。同社は後者を選択した理由として、もともとオーガニック検索順位は、Googleパーソナライズ検索や位置情報などの要因により 100% 正しいデータが取得できるわけではないこと、Googleデータをスクレイピング取得することは規約違反であり、ビジネス継続性におけるリスクが高いこと、検索順位という指標が今後も有効かどうか未知数であること、等を挙げている。
あらゆる Google プロダクトにおいて、Google は API という許可した方法以外を用いてデータにアクセスしたり、データをスクレイピングすることを、長年にわたり規約で明白に禁止してきた。一方で、世界中の数多くのSEM系ソフトウェア開発企業が、Googleの様々なデータをスクレイピングして分析や効果測定に活用していることは周知の事実であるが、実際に Google が規約を盾にサービス提供中止の要請をすることは極めて希だった。
Raven Tools によると、他にも数社が同様に Google から AdWords API 利用規約違反を指摘されてサービス提供を中止しているという。また、今年1月には、SEOソフトウェアのMarket Samurai が、事業継続を理由にデータ取得先検索エンジンを Google から Bing に変更したことをアナウンスした。同じくSEM関連データを提供する SEOMoz は11月に、同社のAPIアクセス権が取り消されたことを明らかにした。今回の Raven Tools の一件は、Google の方針転換を意味するのだろうか？また、第二の Raven Tools が今後現れることになるのか注目される。
A message from our CEO: Raven to drop rankings, other scraped data on Jan. 2
http://raventools.com/blog/scraped-data-serp-tracker/
Raven Tools
SEOmoz - Loss of Google AdWords API
http://www.seomoz.org/q/loss-of-google-adwords-api
#
ちょっと解説すると
Google のオーガニック検索順位のデータを取得するには、大きく分けて (1) API を通じて順位を取得する、(2) 検索結果ページをスクレイピングして順位を取得する、という2つの方法があります。しかし、大抵の企業は後者のアプローチを用いています。世の中のオーガニック検索順位計測ツールの大半は後者の方法を採用しています。
なぜなら、実際に私たちが目にするオーガニック検索結果と、API を通じて取得できるデータには大きなかい離がある -- つまり、マーケティング効果測定としての検索順位が欲しい企業にとって、前者の API 経由データは信頼性が乏しいのです。また、ユニバーサル検索が一般化した今日では、スクレイピングした方が何かと有効なデータが取得できることも理由です。
だから、世界の大半のオーガニック検索順位計測系ツールはスクレイピングをして検索順位データを取得するのですが、今回 Google がそこにメスをいれてきた。AdWords API のデータを使いたいなら、その規約に違反しているスクレイピングを停止せよということです。現実的には AdWords API を使った正規の方法で取得したデータも使いたいので、どちらをとるか突きつけられたら、まぁ前者ですよね、という話です。
