SEMリサーチ

SEMリサーチ

米Bing、コンテンツのクローリング方針について解説, 「あらゆるコンテンツをクロールするつもりはない」

米Microsoftの検索エンジン・BingのDuane Forrester氏(シニアプロダクトマネジャー)が、Stone Temple ConsultingのEric Enge氏によるインタビューに応じ、Bingのコンテンツのクローリング及びインデクシングの方針や取り組みについて説明を行った。

Bingのクローリングの仕組み

まず、Bingはインターネット上のコンテンツをクローリングする手段として、(他の検索エンジンもサポートする)XMLサイトマップもサポートしているが、同社はRSSフィードを通じたコンテンツの発見を重視する。RSSフィードを利用することは、コスト削減や効率の観点からも、また、リアルタイムに新しいコンテンツを取得できることから「理想的な手段」(Duane)だと語る。

スパム防止のために一定の制限がかけられているが、直接、インデックスに希望URLを登録するツールも別途、用意されている。ウェブマスターツールの"Submit URLs"から、送信することで、迅速にBingインデックスに反映することができる。

「BingはXMLサイトマップからコンテンツにアクセスした場合、同エンジンのクオリティ・コントロールのフィルタリングを経て、ページを分析・評価してからインデックスに登録する。しかし、Submit URLsツールを使用した場合は(フィルタリングをスキップして)直接インデックスに登録、直後に検索結果に表示されるようになる」(Duane氏)

Bingがサイトをどのように把握したかをサイト運営者に理解してもらう

Bingはまた、ウェブマスターが運営するサイトがBingインデックス内でどのような構造(アーキテクチャ)で認識されているか理解を促すことにも注力している。Bingは"Index Explorer"と呼ばれるツールを提供しており、ウェブマスターはBingがどのようにサイト構造を把握しているかを視覚的に理解することができる。サイト設計時のアーキテクチャとBingが認識しているアーキテクチャに差異があれば、それはインデクシングを改善するヒントになるはずだ。

「Bingは質の高いコンテンツと、質の高いユーザエクスペリエンスという発想を非常に重視しているため、ウェブマスターが、我々(Bing)がウェブサイトをどのように見ているかを理解してもらうことは非常に重要な要素だ」(Duane氏)

Bingの考えるクオリティ・コンテンツ

ただし、Bingはあらゆるコンテンツをインデックスしようというスタンスではない。クローラが新しいコンテンツを発見しても、それをインデックスに保持しない場合もある。これは、何らかの理由によりインデックスに登録しないという判断を下したということを示す。

「Bingのゴールは、インターネット全体を隅々まで毎週クローリングすることではない。われわれは優れたコンテンツを見つけるためにインターネットをクロールする」(Duane氏)。Bingの最終目的は検索者に適切な回答を提示できる検索エンジンであることを目指しているのであり、ユーザーインタラクションを非常に重視する。ユーザーにとって(検索結果に表示するにふさわしい)良きコンテンツであれば、検索結果に表示する姿勢だ。

"The end goal of everything we do at Bing is to provide a better result set for a searcher. That’s the core reason why a search engine exists". [Duane Forrester, Sr. Product Manager with Bing’s Webmaster Program, How Bing Uses CTR in Ranking, and more with Duane Forrester, Stone Temple, September 6, 2011]

COPYRIGHT © 1997-2020 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。