SEMリサーチ

Google、略語や英文字キーワードの処理方法を大きく改善 - Yahoo! & 百度と違いを比較

少なくとも昨年末時点で、Googleは日本語文字列の処理を大きく改善し、Yahoo!やMSN / Live Search、百度など他の日本語検索エンジンが実現できていない（Ask.jpがやってました）ことをしています。それが略語や英文字（英語表記）のキーワードを入力した時の処理方法です。

上記の表は、検索キーワードで検索した時に、検索結果でボールド表示（太字）される文字列を表したものです。例えば、「ファミマ」と検索した時に、Googleは検索結果ページに「ファミマ」「ファミリーマート」どちらもボールド表示します。検索結果にヒットしたページも、その他の要素（被リンク、アンカーテキスト、周辺テキスト）の影響によるものではないと考えられるものが多数含まれます。対して、Yahoo!などは、入力したキーワードそれ自体を含むページしか検索対象になっていません。もちろん、バックリンクやその他諸々の調整により、結果として「ファミマ」と検索しても意図される「ファミリーマート」は検索できます。

表に入れていませんが、他にも「mcafee」と「マカフィー」、「RSS feed」と「RSSフィード」、「スタバ」「スターバックス」、「samsung」「サムスン」、「cyberagent」「サイバーエージェント」なども同じ言葉として認識されているようです。

ただし、「gucci」と検索しても「グッチ」を、「PRADA」と検索しても「プラダ」を検索対象に含めていません。「Hermès」で「エルメス」、「doutor」で「ドトール」はボールド表示にならない、同じ言葉としての認識はしていません。

※　ここまでの段落、一部説明が不適当だったため、修正を加えてました

ファミリーマートなどのような社名やブランド、ナビゲーショナルクエリであればリンク分析を通じて目的サイトを検索結果に表示できるはずですが、そうではないクエリ（トランザクショナルなど）やミドル～テールのキーワードになってくると、こうした表記の違いで検索結果が大きく変わることは、時としてユーザーの検索負荷に影響を与えます。特に英文字とカタカナのどちらで入力した方が目的の情報にたどり着けるのか迷うような時、こうした関係する文字を同じように処理してくれる方が、検索意図を適切に反映できるでしょう。

ちなみに米国Googleでは、2003年4月28日に買収したApplied Semanticsが保有していたCIRCA技術を活用することで、例えば「payment」を「finance」と同じ意味を持つとみなして検索対象に含む、といったことを2003年末以降に実施していました（ちょうどGoogleアルゴリズムに大きな変更が加えられて騒がれていた頃です）。

一般に海外の検索会社は日本語処理能力がYahoo!JAPANに劣ると思われがちですが、現実にはGoogleもかなり日本語固有の問題にも対処しつつあります。

#
[追記] はてなブックマークのコメント欄にて「Ask.jpが対応してる」という指摘がありました。そういわれてみれば確かにやってましたよね、sony →　ソニーなど。すみませんこのコラムを書いている時、Ask.jpの存在を忘れてました。

[追記2] 文字列判定の方法の違いについてまとめています。判定方法は、検索結果画面中におけるボールド表示となる言葉です。表記が違っても検索結果が全く一緒になるというわけではありません。また、検索結果の良し悪しでいえば、（他のすべての要素を計算してランク付けされた）結果としてYahoo!やその他検索エンジンの方が関連性が高いといえる場合もあります。つまり言語の処理の方法だけ変えても検索精度が良くなるわけでもないです。

マイクロソフト、Live Search 検索トップをリニューアル

4月に一度公開された直後に元に戻ったLiveサーチ検索トップページですが、本日、再びリニューアルされました。

Live Search日本語版で現在利用可能なサービスは、ウェブ検索、画像検索、ニュース検索、地図検索、学術論文（英語）、フィード、Spaces。あとはWebmaster Toolsベータ版へのリンクが設置されました。Webmaster ToolsはGoogle ウェブマスターツールに相当するもので、hotmailやLiveアカウントをもっている方であれば無料で利用できます。利用する時に認証コードを設置する必要があるため、無料ブログサービスなどの場合は不可能かもしれません。

Windows Live Search日本語版
http://www.live.com/?searchonly=true&mkt=ja-JP

Live Search Webmaster Tools
http://webmaster.live.com/

グーグル、検索向けAdSenseにカスタム検索（Google CSE）を統合 - カスタマイズ自由に

米Googleは2008年5月5日、検索向けAdSense（AdSense for Search）にGoogleカスタム検索エンジンサービス（Google Custom Search Engine）の機能を統合したことを明らかにした。

検索向けAdSenseとは自分のサイトにGoogleウェブ検索を導入し、そこに表示される広告から収入を得ることができるプログラム。一方 Googleカスタム検索エンジンとは、検索対象のサイトやページデザインを自由に設定し、自分だけの検索サービスが構築できるサービスで、例えば料理関連のサイトだけを集めて「料理専門検索サービス」を作るといったことが可能。今回、検索向けAdSenseからカスタム検索エンジンが提供する機能が活用できるようになった。

具体的には、次の機能が新たに提供される：

1) サイト内検索の提供：自分のサイトだけを検索対象にする、「サイト内検索」としての検索向けAdSenseの利用が可能になった
2) インデックスの改善：インデクシング技術の改善により、クロール可能なページである限り従来よりインデックス量を増加。検索キーワードに関連するより多くのウェブページを検索結果に表示できるようになった
3) バーティカル検索（専門検索）：検索対象のサイトを指定して、お好みのバーティカル検索を簡単に構築可能。例えば、サーチマーケティングの話題を扱うサイトだけを検索対象とすれば、「サーチマーケティング専門の検索サービス」を作ることができる
4) キーワード指定による自然検索と広告のチューニング：あらかじめサイトのトピックに関連するキーワードを指定することで、自然検索と広告の適合性を高めることができる。例えば、「ヨガ」と指定しておくと、「マット」と検索された時にフロアマットではなくヨガマットに関する結果を表示するようになる

検索向けAdSenseはAdSenseにログインして「AdSenseの設定」タブをクリックして「検索向けAdSense」を選択することで設定可能。今回発表された新機能は日本語も対応している。

AdSense for search now powered by Custom Search [Inside AdSense]
http://adsense.blogspot.com/2008/05/adsense-for-search-now-powered-by.html

Google Custom Search Engine
http://www.google.com/coop/cse/?hl=ja

検索向け AdSense [Google AdSenseヘルプセンター]
https://www.google.com/adsense/support/bin/topic.py?topic=144

Google News、検索結果に関連キーワードを表示

米Googleは2008年5月5日、Google Newsの新機能として検索キーワードと関連する語句を表示する機能を追加した。同社ソフトウェア／エンジニアのNilesh Agrawal氏らが公式ブログで明らかにした。

Googleはウェブ検索において検索結果上部と下部に関連語句を表示しているが、これをニュース検索に拡大した。これら関連語句はエディターによって作成・選択されているのではなく、アルゴリズムによって自動的に決定している。適切な検索キーワードを見つけたり、関心あるニュースをブラウズする手段などとして活用できると同社は説明している。

なお、関連語句の表示はGoogleニュース日本版は5月6日現在、対応していない。

Related Searches in Google News [Google News Blog]
http://googlenewsblog.blogspot.com/2008/05/related-searches-in-google-news.html

cf.
Google、iPhoneとiPod Touch向け「Google News」をリリース :: SEM R

「Googleニュースへの掲載要件の1つは、複数人で運営されたサイトであること」 - Google Matt Cutts氏 :: SEM R

Google、ニュース検索のSitemapsサポートを開始 :: SEM R

Google：ユニバーサル検索（結果）が占める割合は？ - 米comScore 2008

2007年5月にGoogleが発表したユニバーサル検索（Universal Search）。従来ウェブページへのリンクのみを表示していたウェブ検索結果に、キーワードとの関連性に応じて様々な種類のコンテンツへのリンクを表示するものです。例えば「表参道 眼科」と検索すれば検索上位に表参道周辺の地図を表示したり、「オリラジ」と検索するとYouTubeへの動画リンク表示をする、あるいは「船場吉兆」と検索すると同関連ニュースへのリンクが表示されます。

さて、これらGoogleユニバーサル検索は全検索クエリにおいてどの程度の割合で表示されるのか、米comScoreが調査を行いました。グラフは2008年1月のある週の米国におけるGoogleの検索クエリとクリックを追跡し、それぞれにおいてユニバーサル検索（結果）／非ユニバーサル検索（つまりウェブページへのリンクのみ）がどの程度の割合になっているかを表したものです。

全検索クエリに占める非ユニバーサル／ユニバーサルは83%：17%。次に全クリックに占める同割合は84%：16%。今度は検索広告がクリックされた時の同割合を見ると86%：14%。このデータからわかることは、3%ではありますがユニバーサル検索が表示された時は検索広告のクリックが減少することがわかります。米iProspectとJupiterResearchが実施したブレンド検索（Blended Search、ユニバーサル検索などの総称）の検索行動を見ると、ニュースや画像などのクリック割合が上昇していることも考えると、ユニバーサル検索を通じて様々なデジタルコンテンツが表示されることで相対的に自然検索のレレバンシー（Relevancy、関連性）が向上し、結果としてそちらがクリックされやすくなったのではないかと考えられます。

Yahoo!も「Search Monkey」のリリースによってサイト運営者に検索結果情報を自由にカスタマイズすることを可能にしようとしています。普段最も利用するウェブ検索がこのように情報豊かになることで検索体験が高まる一方、はたして検索行動がどのように変化していくかにも注目です。[追記] グーグル日本国内でもユニバーサル検索をアップデート、画像の表示に対応しました（2008年5月8日）。

米国 検索エンジンシェアの推移 （2004年8月～2007年10月）、米comScore

米調査会社comScoreが発表した米国の月別検索エンジンシェアをグラフにしたものです。シェアの推移をグラフにするとわかるように、Googleは2004年12月ごろを境にシェアを伸ばし始め、逆にYahoo!が衰退していることがわかります。MicrosoftはLive Searchを投入したにもかかわらずシェア上昇に全く貢献していません。Ask.comは検索シェアが上昇しないけれども下がりもしない、マーケットにおいて一定のポジションを確保できているとはいえます。

シェアを伸ばしているのはGoogleだけで、No.2 のYahoo!と次のMicrosoftはシェアの低下が止まっていません。ここ最近、MicrosoftとYahoo!の買収話で賑わっていましたが、本当にYahoo!買収でGoogle追撃体制を整えられたのか？というと疑問は残ります。

また、Google、Yahoo!、Live Searchともレレバンシー（関連性）や検索精度に大差はないと言われていますが（テクニカルな視点でいえば私もそう思います）、その割にはYahoo!やLive Searchからユーザーが離れているところも興味深いところです。検索精度の問題ではなく、別の要因によってGoogleにユーザーが流れていると考えられます。

#
comScoreが発表している最新データは2008年3月です。グラフが2007年10月で終わっているのは、単に私がデータ更新をサボったためです。次回以降、2008年3月までを反映したいと思います。