米Google は2018年7月25日、一般公開されていた URL登録ツールを廃止したことを公式Twitterアカウントで明らかにした。今後は、Google Search Console (GSC) 内で用意しているツールを利用してほしいとしている。
URL登録フォームとは
検索エンジンはWebページ収集用のソフトウェア(クローラ)を利用してインターネットのウェブページを集めてインデックス(索引)を作成している。このクローラは様々な要因を加味して新たに公開されたページや更新されたページもできるだけ早く再クロールするように努めている。 URL登録フォームは、急ぎでページをクロールしてほしいときに利用するものだ。
Google は GSC 内で同機能を提供していたが、GSCにログインする必要がある。一般公開されたURL登録ツールは誰でも利用できるものだった。今回はその一般公開版を廃止することになった。Google に URLを送信したい場合は引き続き GSC 内のツールを利用できる。
一般公開のURL登録フォームは必要か?
以下、”わかる人にはわかる”(古くから検索業界にいる方であれば懐かしいと感じてもらえるような)事情を紹介しながら、URL登録ツールが生まれた背景とそれが衰退した理由を解説をする。
もともと1990年代のインターネット検索エンジンは、現在のそれと比べるとインデックスのカバレッジは非常に小さなものでありクロール周期もとても遅いものだった。
たとえば当時の検索エンジンは、数百万URLをインデックスしたこと自体がニュースとして発表できるものであったし、 Altavista や Inktomi、Hole-In-One, AlltheWeb、Google といったアルゴリズム型(ロボット型)検索エンジンは検索窓の下にインデックス数を表示していた(2000年代前半に皆廃止)。また Google 登場当時のクローリングはおよそ30~60日周期であり、その間は一切インデックスは更新されない。つまり今日起きたニュースが検索可能になるのは1~2か月先という状況だった(インデックス更新時には検索順位が大変動することから Googleダンスという言葉が生まれた)。
以上のような事情から、ページの更新や新しいページをクロールしてもらいたいときには都度、サイト運営者がURL登録ツールを利用して送信する必要があった。大規模サイトの運営者のニーズに応えるために、 Inktomi (Yahoo! US) や AlltheWeb は有料の URL登録(PFI = Paid for Inclusion、ざっくり言うとお金を払って優先的にインデックスしてもらうサービス)を提供した時期もある。日本でも goo が検索エンジンを Google に切り替える前の1年間ほど PFI を導入した。
当時の検索技術の限界と制約から生まれた URL登録ツールであるが、皆がまっとうな理由で利用していたかというと、そうでもない。昔、FAST が運営していた AlltheWeb(のちに Overture が買収し、それを Yahoo! US が買収)の検索技術担当者と話をしたときに聞いたのだが、同社のURL登録ツールから送信される URL のうち95%以上はスパムだったという。このため同社は URL登録フォームを廃止してしまったのだが、同様の話は Ask Jeeves など他の検索会社の方々からも耳にしたので、大半はスパマーに悪用されていたのだろう。
結局、2000年代に入るとクローラ技術が向上し、ユーザーからの URL送信に頼らずとも幅広くウェブページを高速に収集できるようになった。たとえば Google は2003年頃から通常のクロールに加えて特に更新頻度を維持するためのフレッシュクロールが導入された。同年8月頃から検索結果のスニペットにクロールした日付が表示されるようになったのだが、周期は60日から30日、14日、7日と徐々に短くなっていき(インデックスが流動的に変化するので Everflux と呼ばれた)現在はほぼリアルタイムになっている。
クロール性能がこのレベルに達すると、URL登録ツールの必要性は大きく低下する。当時生存していた Ask Jeeves や MSN Search(現Bing)、Yahoo! も URL登録ツール自体はサイトに残していたが、利用が推奨されるものではなくなった。少なくとも SEO業界側からは推奨事項として言及される機会はほとんどなくなった。
今回、Google が一般公開の URL登録ツールを廃止する理由は明らかにしていないが、きっと上記のようなスパム関連の問題が絡んでいるのではないかと考える。そもそも「まだそんな機能があったんだ」という感じた人も多いのではないだろうか。
We've had to drop the public submission feature, but we continue to welcome your submissions using the usual tool in Search Console and through sitemaps directly.
— Google Webmasters (@googlewmc) 2018年7月25日