先月に引き続き「検索エンジンへの登録方法」について解説します。
大規模なWebサイトは「登録されないページ」が発生しがち
まず前回「「SEOのための検索エンジン登録」（前編）のおさらいです。Webサイトを検索にヒットさせるために検索エンジンに登録をしなければいけないこと、登録するためにはクローラと呼ばれるWeb ページ収集ロボットに巡回してもらわなければならないこと、巡回してもらうためには外部のWebサイトからリンクをもらうことを説明しました。
さて、上記の対応により問題なく検索エンジンに登録されるのはページ数が比較的少ないWebサイト（1～30程度）の場合です。ページ数が増加してくると検索エンジンに登録されないページが出てきます。例えば生活用品や旅行など数多くの商品・サービスを取り扱うサイトや不動産・人材など大量のデータを取り扱う等、データベースと連携するWebサイトは、ページによって検索エンジンに登録されている／されていない等、登録状況がまちまちになるケースが発生します。これはクローラはリンクを巡回しながらWebページを収集・インデックスしていく仕組みを採用しているのですが、奥深くにあるページ、外部からのリンクが少ないページなど、クローラが到達するまでの距離が長いあるいは到達するための経路が少ないページは取りこぼし（クロール漏れ）が出てくるためです。
検索エンジンに登録されなければWebサイトをSEOした意味がありませんから困ってしまいますね。そこでクローラによる取りこぼしを防ぐための工夫が必要になってきます。その対策の1つは本連載第9回目で取り上げたサイトマップの作成やグローバルナビの整備によるクローラの巡回経路の整備になるのですが今回は別の方法を紹介しましょう。
Google ウェブマスターツールを利用する
Google は「Google ウェブマスターツール」において「Googleサイトマップ」と呼ばれる便利なサービスを公開しています。サイト運営者がGoogleにクロールしてほしいURLリストを送信するとGoogleクローラ(Googlebot）が訪れて指定したページを取得・インデックスに登録してくれるサービスです。
従来、私たちは「クローラがいつか来てくれることを待つ」しかなかったのですがGoogleサイトマップを利用すると「クローラに巡回してほしいというリクエストを詳細な指示を添えて出す」ことができるわけです。実際に私はいくつかのWebサイトで実験を行いましたが、たしかにGoogleサイトマップを利用することで、それ以前はほとんどクロールされなかったサイトがきちんと登録されたことを確認しています。
さらにGoogleサイトマップは私たちに今まで非公開だった様々な便利な情報を提供してくれます。例えばGooglebotが最後にアクセスした時間、クロール失敗したページ一覧、タイムアウトしたページ一覧などインデックス登録状況を把握するために便利な情報のほか、よく検索にヒットするキーワード、実際に皆さんのWebページにアクセスする時に利用されるキーワード(検索キーワードリファラ）、PageRankの割り当て状況、PageRankの最も高いページ、サイト全体に共通する単語（つまり、Googleの目から見たサイトコンテンツの分析状況がわかる）、外部サイトからリンクされるのに用いられているキーワード（外部サイトのアンカーテキスト）等、SEOを実施するために有益な情報も閲覧することが可能になります。
以上、検索エンジンへの登録をより確実にし、かつGoogleに蓄積されている情報を取得するためにも是非Googleサイトマップを利用してみましょう。
・・・とここまでは良いことを書いてきましたが、実際に使おうとすると敷居が少し高いのも事実です。このURLを登録して下さいとGoogleに送信するファイルには指定されたXMLファイルを作成しなければいけないのです。幸いネット上にはこのGoogleサイトマップ用のファイルを作成してくれるサービスがありますが、最低でも登録したい全てのURL一覧が必要になります。MovableType (MT)と呼ばれるCMSを利用している場合は対応したテンプレートファイルがありますので、それをご自身のMTに登録すれば簡単に登録可能になります。
Googleサイトマップ（利用するためにはGoogleアカウント（無料）が必要）
MovableTypeで Google Sitemapsを作成する（MTを利用している人向け）
google online-sitemap generator
米Yahoo!の検索エンジン登録申請を利用する
Yahoo!検索にも実はGoogleサイトマップと同様のサービスが用意されています。それは米Yahoo!版の検索サイト上で用意されているWebページ申請フォームです。
Yahoo! Search - Submit Your Site
米国の上記のサイトでは、登録したいURLを単体で登録するフォームと別に、URL一覧が記述されたファイル（フィード）を申請できるようになっています。あくまでURLをまとめて申請するというシンプルな機能ではありますが、かわりにブログなどが標準で生成するRSSフィードやURL一覧を記述したテキストファイル（.txt）を使って申請できるようになっています。ブログを運営している人ならRSSフィードのURLを送ればいいわけです。
なお、日本のYahoo!検索に登録したいのだから米Yahoo!で登録しても意味がないのでは？とお考えの方がいるかも知れません。しかしYahoo! Searchというのは共通サーチプラットフォームですから、どこの国から申請してもYahoo!インデックスに登録されれば日本のYahoo!検索にも掲載されます。
中～大規模なWebサイトを運営している方、確実に検索エンジンに登録したいという方はぜひ上記のようなサービスも組み合わせて活用しましょう。
