SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

Google、一般公開用のURL登録ツールを廃止、今後は GSC を

米Google は2018年7月25日、一般公開されていた URL登録ツールを廃止したことを公式Twitterアカウントで明らかにした。今後は、Google Search Console (GSC) 内で用意しているツールを利用してほしいとしている。

URL登録フォームとは

検索エンジンはWebページ収集用のソフトウェア(クローラ)を利用してインターネットのウェブページを集めてインデックス(索引)を作成している。このクローラは様々な要因を加味して新たに公開されたページや更新されたページもできるだけ早く再クロールするように努めている。 URL登録フォームは、急ぎでページをクロールしてほしいときに利用するものだ。

Google は GSC 内で同機能を提供していたが、GSCにログインする必要がある。一般公開されたURL登録ツールは誰でも利用できるものだった。今回はその一般公開版を廃止することになった。Google に URLを送信したい場合は引き続き GSC 内のツールを利用できる。

一般公開のURL登録フォームは必要か?

以下、”わかる人にはわかる”(古くから検索業界にいる方であれば懐かしいと感じてもらえるような)事情を紹介しながら、URL登録ツールが生まれた背景とそれが衰退した理由を解説をする。

もともと1990年代のインターネット検索エンジンは、現在のそれと比べるとインデックスのカバレッジは非常に小さなものでありクロール周期もとても遅いものだった。

たとえば当時の検索エンジンは、数百万URLをインデックスしたこと自体がニュースとして発表できるものであったし、 Altavista や Inktomi、Hole-In-One, AlltheWeb、Google といったアルゴリズム型(ロボット型)検索エンジンは検索窓の下にインデックス数を表示していた(2000年代前半に皆廃止)。また Google 登場当時のクローリングはおよそ30~60日周期であり、その間は一切インデックスは更新されない。つまり今日起きたニュースが検索可能になるのは1~2か月先という状況だった(インデックス更新時には検索順位が大変動することから Googleダンスという言葉が生まれた)。

以上のような事情から、ページの更新や新しいページをクロールしてもらいたいときには都度、サイト運営者がURL登録ツールを利用して送信する必要があった。大規模サイトの運営者のニーズに応えるために、 Inktomi (Yahoo! US) や AlltheWeb は有料の URL登録(PFI = Paid for Inclusion、ざっくり言うとお金を払って優先的にインデックスしてもらうサービス)を提供した時期もある。日本でも goo が検索エンジンを Google に切り替える前の1年間ほど PFI を導入した。

当時の検索技術の限界と制約から生まれた URL登録ツールであるが、皆がまっとうな理由で利用していたかというと、そうでもない。昔、FAST が運営していた AlltheWeb(のちに Overture が買収し、それを Yahoo! US が買収)の検索技術担当者と話をしたときに聞いたのだが、同社のURL登録ツールから送信される URL のうち95%以上はスパムだったという。このため同社は URL登録フォームを廃止してしまったのだが、同様の話は Ask Jeeves など他の検索会社の方々からも耳にしたので、大半はスパマーに悪用されていたのだろう。

結局、2000年代に入るとクローラ技術が向上し、ユーザーからの URL送信に頼らずとも幅広くウェブページを高速に収集できるようになった。たとえば Google は2003年頃から通常のクロールに加えて特に更新頻度を維持するためのフレッシュクロールが導入された。同年8月頃から検索結果のスニペットにクロールした日付が表示されるようになったのだが、周期は60日から30日、14日、7日と徐々に短くなっていき(インデックスが流動的に変化するので Everflux と呼ばれた)現在はほぼリアルタイムになっている。

クロール性能がこのレベルに達すると、URL登録ツールの必要性は大きく低下する。当時生存していた Ask Jeeves や MSN Search(現Bing)、Yahoo! も URL登録ツール自体はサイトに残していたが、利用が推奨されるものではなくなった。少なくとも SEO業界側からは推奨事項として言及される機会はほとんどなくなった。

今回、Google が一般公開の URL登録ツールを廃止する理由は明らかにしていないが、きっと上記のようなスパム関連の問題が絡んでいるのではないかと考える。そもそも「まだそんな機能があったんだ」という感じた人も多いのではないだろうか。

COPYRIGHT © 1997-2021 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

お問い合わせ(お仕事の相談、講演依頼など)

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。