米Bing、コンテンツのクローリング方針について解説, 「あらゆるコンテンツをクロールするつもりはない」

マイクロソフトの検索エンジン・BingのDuane Forrester氏がBingのクローリングの仕組みや考え方について語った。


公開日時:2011年09月09日 11:38

米Microsoftの検索エンジン・BingのDuane Forrester氏(シニアプロダクトマネジャー)が、Stone Temple ConsultingのEric Enge氏によるインタビューに応じ、Bingのコンテンツのクローリング及びインデクシングの方針や取り組みについて説明を行った。

Bingのクローリングの仕組み

まず、Bingはインターネット上のコンテンツをクローリングする手段として、(他の検索エンジンもサポートする)XMLサイトマップもサポートしているが、同社はRSSフィードを通じたコンテンツの発見を重視する。RSSフィードを利用することは、コスト削減や効率の観点からも、また、リアルタイムに新しいコンテンツを取得できることから「理想的な手段」(Duane)だと語る。

スパム防止のために一定の制限がかけられているが、直接、インデックスに希望URLを登録するツールも別途、用意されている。ウェブマスターツールの"Submit URLs"から、送信することで、迅速にBingインデックスに反映することができる。

「BingはXMLサイトマップからコンテンツにアクセスした場合、同エンジンのクオリティ・コントロールのフィルタリングを経て、ページを分析・評価してからインデックスに登録する。しかし、Submit URLsツールを使用した場合は(フィルタリングをスキップして)直接インデックスに登録、直後に検索結果に表示されるようになる」(Duane氏)


Bingがサイトをどのように把握したかをサイト運営者に理解してもらう

Bingはまた、ウェブマスターが運営するサイトがBingインデックス内でどのような構造(アーキテクチャ)で認識されているか理解を促すことにも注力している。Bingは"Index Explorer"と呼ばれるツールを提供しており、ウェブマスターはBingがどのようにサイト構造を把握しているかを視覚的に理解することができる。サイト設計時のアーキテクチャとBingが認識しているアーキテクチャに差異があれば、それはインデクシングを改善するヒントになるはずだ。

「Bingは質の高いコンテンツと、質の高いユーザエクスペリエンスという発想を非常に重視しているため、ウェブマスターが、我々(Bing)がウェブサイトをどのように見ているかを理解してもらうことは非常に重要な要素だ」(Duane氏)


Bingの考えるクオリティ・コンテンツ

ただし、Bingはあらゆるコンテンツをインデックスしようというスタンスではない。クローラが新しいコンテンツを発見しても、それをインデックスに保持しない場合もある。これは、何らかの理由によりインデックスに登録しないという判断を下したということを示す。

「Bingのゴールは、インターネット全体を隅々まで毎週クローリングすることではない。われわれは優れたコンテンツを見つけるためにインターネットをクロールする」(Duane氏)。Bingの最終目的は検索者に適切な回答を提示できる検索エンジンであることを目指しているのであり、ユーザーインタラクションを非常に重視する。ユーザーにとって(検索結果に表示するにふさわしい)良きコンテンツであれば、検索結果に表示する姿勢だ。


"The end goal of everything we do at Bing is to provide a better result set for a searcher. That’s the core reason why a search engine exists". [Duane Forrester, Sr. Product Manager with Bing’s Webmaster Program, How Bing Uses CTR in Ranking, and more with Duane Forrester, Stone Temple, September 6, 2011]





記事カテゴリ:MS Bing, サーチニュース 2011
他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google「パーソナライズ検索による劇的な検索順位変動は都市伝説」と説明
Google、カナダでローカルサービス広告を提供開始
グーグルとディズニーがデジタル広告分野で提携
Googleインド、モバイル検索でカバディの試合情報を表示する機能追加
goo, 2018年検索ランキングを発表、人物の1位は「羽生結弦」など
ロシアYandex、検索アップデート「アンドロメダ」を発表
Microsoft Bing、年末商戦にあわせてショッピング検索機能を強化
米Google、検索結果にユーザーがコメントを投稿できる機能を準備
プライバシーを守る検索エンジン DuckDuckGo、検索回数3,000万/1日 突破
ペンス米副大統領、中国市場向け検索アプリ開発の中止を求める
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。