米Googleは2008年9月22日、ウェブページのクロールにおける動的URL（ダイナミックURL）の扱いについて公式ブログで説明を行った。この中で、Googleは動的コンテンツを扱う場合はURLを動的のままにしても問題なくクロールができるとの見解を述べている。
これまで検索業界においては、動的コンテンツを扱うウェブサイトにおいてもURLは静的（Static URL）にする、あるいは動的URLのパラメータを短くシンプルにすることが推奨されていた。これは、検索エンジンのクローラが動的URLを適切に分析できないために、延々と数百万ものウェブページをクロールし続けるスパイダートラップ（Spider Trap）などの問題が発生するためだ。たとえば、Session IDのように表示するコンテンツには直接影響がないパラメータがURLに付与されている場合、異るるSession IDを持つURL全てのクロールを試みるという問題が発生する。こうした問題を回避するために検索エンジンは複雑な多数のパラメータを持つサイトはクロールを回避するなどの措置をとり、一方でAmazonのような動的コンテンツを取り扱う大規模なEコマースサイトはURLをリライトして静的URLに見せることで適切に検索エンジンに掲載されるような対策を行っていた。
今回のGoogleの説明では、動的URLのクロールに関連する技術が向上し、検索エンジン側で動的URLを分析して不必要なパラメータを取り除いてインデックスを行うという。このため、サイト運営側で動的URLを静的URLに変換する対策を行わなくても問題なくGoogleはインデックスできるという。
もし静的URLに変換する場合は、セッションIDやクエリリファラなど、コンテンツ制御に直接関係のないパラメータは取り除いた上で静的URLにリライトをするように注意を促している。関係がないパラメータも含めて静的URLに変換した場合、クローラはインデックスすべきURLの判定が行えなくなるためという。また、インデックスすべきURLが確定しないことは、サイト運営側が希望するURLが登録されなくなる恐れも出てくる。
今回の動的URLと静的URLの取扱について、米国の検索関連のフォーラムでは誤解や勘違いによる混乱が見られるが、GoogleのMatt Cutts氏によると今回の説明（動的URLのままでも良い）はあくまで推奨事項の1つであり、現在すでに動的URLをリライトしているならそのまま運用しても全く問題はなく、動的URLと静的URLの違いによっていずれかが不利に扱われることはないという。
なお、Yahoo!JAPANの検索シェアが高い日本のマーケットにおける対応だが、(1) Googleは動的URLを処理する、(2) Yahoo!JAPANは サイトエクスプローラから動的URLの処理を指定できる、という以上2点を勘案すると、動的URLのままでも問題はない、ということになる。ただし、Googleは「言っていることと実際にやっていることは違う」「Yahoo!検索サイトエクスプローラーで制御するのも面倒」などの諸事情を考えると、不必要なURLを生成しない前提で静的URLにリライトするのが結局のところ妥当と考えられる。
cf.
「動的URLも静的URLと同様に扱う」 - Google Matt Cutts氏
#
CNET Japanの方に書いておきましたが、今回のGoogleによる動的URL・静的URLの扱いに関するお話は、単に『動的URLのままにしてもらっていいよ、こっちで適当にクロールするから』『下手に静的URLにされると、クローラが混乱してどうでもいいページ次々とインデックしちゃうから、変なことしないでね』ってお話です。URLが静的だろうが動的だろうが、クローラに提示するURLリストが適切になっており、クローラが迷わないような仕様になってればどっちでもいい話。
したがって、現在、静的URLでサイトを運営しているならそのままでいい、これから新規にサイトを立ち上げるにしても、重複したコンテンツを持つURLがムダに生成されないような仕組みになっている限り、静的だろうが動的だろうがGoogle的には困らないでしょう。
「これからは静的URLにしちゃいけません」なんて勘違いしないように。クローラが混乱しないようにしとけばOK
Dynamic URLs vs. static URLs [Google Webmaster Central Blog]
http://googlewebmastercentral.blogspot.com/2008/09/dynamic-urls-vs-static-urls.html
