SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

動画共有のDailymotion、Googleを標的としたクローキングを疑われる

フランスの動画共有サービス・Dailymotion(デイリーモーション)が、アクセス元のUser-Agent(以下、UA)に基づいて、Google と訪問者(人)に異なるコンテンツを配信する、いわゆるクローキングを実施していた模様だ。ユーザーからの報告を受けて同社は調査を開始、技術的なバグがあったことを認め、現在は問題が解消されている。

事の発端は、Google Webmaster Help に投稿されたユーザーの不満だった。同ユーザーは、Dailymotionから動画を削除したにもかかわらず Google が継続して検索結果にその動画を表示し続けていることにいらだちを示していた。同フォーラムの常連であるGoogleのエンジニア・John Muller氏が調査したところ、DailymotionはUAを判定して、一般的なユーザーが訪問した場合は動画が削除された旨を伝えるメッセージが表示されるのに、googlebot が訪問した場合は動画を表示していることが判明した。

Hi Cedric85 It looks like these URLs are returning a 410 ("Gone") HTTP result code to users but 200 ("OK") to Googlebot. That would make it very hard to use the public URL removal tools, since the website is essentially telling us that the pages still exist. My recommendation would be to contact the webmaster of that website to have them submit the removal request for you (they can do this regardless of the actual HTTP result code. Additionally, perhaps you can encourage them to serve the correct HTTP result code to Googlebot. Should they have any questions, feel free to point them to this thread. In the meantime, I'll also see if we can expedite your request despite this invalid response code. Cheers John [When will this be taken care of please? (Denied request of removal concerning inappropriate content)]

しかしDailymotionの対応は早かった。このスレッドを発見した同社社員Renan Guichardによると、サーバに技術的なバグがあった模様で、すでに問題を解消、正常にサーバがステータスコード410(完全に消滅した)を返すよう修正されている。

#

ユーザーには「この動画は削除されました」と表示しており、Dailymotionにメリットがないことから故意にクローキングを実施したとは考えがたいので本当に技術的な不具合だったのでしょう。

COPYRIGHT © 1997-2021 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

お問い合わせ(お仕事の相談、講演依頼など)

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。