Google、動的URLも問題なくクロール可能 - 公式ブログで説明

Googleが「動的URLはそのままでいい」という見解を公式ブログに出す。あくまで重複・類似コンテンツを多数生成しているサイトに対するものなので、一般のサイトに影響はないと考えてもいい。


公開日時:2008年09月24日 18:50

米Googleは2008年9月22日、ウェブページのクロールにおける動的URL(ダイナミックURL)の扱いについて公式ブログで説明を行った。この中で、Googleは動的コンテンツを扱う場合はURLを動的のままにしても問題なくクロールができるとの見解を述べている。

これまで検索業界においては、動的コンテンツを扱うウェブサイトにおいてもURLは静的(Static URL)にする、あるいは動的URLのパラメータを短くシンプルにすることが推奨されていた。これは、検索エンジンのクローラが動的URLを適切に分析できないために、延々と数百万ものウェブページをクロールし続けるスパイダートラップ(Spider Trap)などの問題が発生するためだ。たとえば、Session IDのように表示するコンテンツには直接影響がないパラメータがURLに付与されている場合、異るるSession IDを持つURL全てのクロールを試みるという問題が発生する。こうした問題を回避するために検索エンジンは複雑な多数のパラメータを持つサイトはクロールを回避するなどの措置をとり、一方でAmazonのような動的コンテンツを取り扱う大規模なEコマースサイトはURLをリライトして静的URLに見せることで適切に検索エンジンに掲載されるような対策を行っていた。

今回のGoogleの説明では、動的URLのクロールに関連する技術が向上し、検索エンジン側で動的URLを分析して不必要なパラメータを取り除いてインデックスを行うという。このため、サイト運営側で動的URLを静的URLに変換する対策を行わなくても問題なくGoogleはインデックスできるという。

もし静的URLに変換する場合は、セッションIDやクエリリファラなど、コンテンツ制御に直接関係のないパラメータは取り除いた上で静的URLにリライトをするように注意を促している。関係がないパラメータも含めて静的URLに変換した場合、クローラはインデックスすべきURLの判定が行えなくなるためという。また、インデックスすべきURLが確定しないことは、サイト運営側が希望するURLが登録されなくなる恐れも出てくる。

今回の動的URLと静的URLの取扱について、米国の検索関連のフォーラムでは誤解や勘違いによる混乱が見られるが、GoogleのMatt Cutts氏によると今回の説明(動的URLのままでも良い)はあくまで推奨事項の1つであり、現在すでに動的URLをリライトしているならそのまま運用しても全く問題はなく、動的URLと静的URLの違いによっていずれかが不利に扱われることはないという。


なお、Yahoo!JAPANの検索シェアが高い日本のマーケットにおける対応だが、(1) Googleは動的URLを処理する、(2) Yahoo!JAPANは サイトエクスプローラから動的URLの処理を指定できる、という以上2点を勘案すると、動的URLのままでも問題はない、ということになる。ただし、Googleは「言っていることと実際にやっていることは違う」「Yahoo!検索サイトエクスプローラーで制御するのも面倒」などの諸事情を考えると、不必要なURLを生成しない前提で静的URLにリライトするのが結局のところ妥当と考えられる。

cf.
「動的URLも静的URLと同様に扱う」 - Google Matt Cutts氏

#
CNET Japanの方に書いておきましたが、今回のGoogleによる動的URL・静的URLの扱いに関するお話は、単に『動的URLのままにしてもらっていいよ、こっちで適当にクロールするから』『下手に静的URLにされると、クローラが混乱してどうでもいいページ次々とインデックしちゃうから、変なことしないでね』ってお話です。URLが静的だろうが動的だろうが、クローラに提示するURLリストが適切になっており、クローラが迷わないような仕様になってればどっちでもいい話。

したがって、現在、静的URLでサイトを運営しているならそのままでいい、これから新規にサイトを立ち上げるにしても、重複したコンテンツを持つURLがムダに生成されないような仕組みになっている限り、静的だろうが動的だろうがGoogle的には困らないでしょう。

「これからは静的URLにしちゃいけません」なんて勘違いしないように。クローラが混乱しないようにしとけばOK

Dynamic URLs vs. static URLs [Google Webmaster Central Blog]
http://googlewebmastercentral.blogspot.com/2008/09/dynamic-urls-vs-static-urls.html





記事カテゴリ:サーチニュース 08H1
他の検索・SEO 関連の記事
新刊:ネットショップSEO 2014発売されました(2014年5月)
Google「パーソナライズ検索による劇的な検索順位変動は都市伝説」と説明
Google、カナダでローカルサービス広告を提供開始
グーグルとディズニーがデジタル広告分野で提携
Googleインド、モバイル検索でカバディの試合情報を表示する機能追加
goo, 2018年検索ランキングを発表、人物の1位は「羽生結弦」など
ロシアYandex、検索アップデート「アンドロメダ」を発表
Microsoft Bing、年末商戦にあわせてショッピング検索機能を強化
米Google、検索結果にユーザーがコメントを投稿できる機能を準備
プライバシーを守る検索エンジン DuckDuckGo、検索回数3,000万/1日 突破
ペンス米副大統領、中国市場向け検索アプリ開発の中止を求める
「SEMリサーチ」トップへ戻る




免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。