SEMリサーチ

企業で働くウェブマスター向けに、インターネット検索やSEOの専門的な話題を扱います

検索エンジンクローラ一覧(2022年8月時点)

自分用のメモ。

 

Apple

support.apple.comユーザーエージェント名は"Applebot"。SiriやSpotlightの候補表示のために使用される。

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

 

 

Baidu(中国)

help.baidu.comユーザーエージェント名は"Baiduspider"。

 

DuckDuckGo

help.duckduckgo.com

ユーザーエージェント名は"DuckDuckBot"。REPを遵守。クローラのIPアドレスは上記リソースに記載あり。

 

Gigablast

https://developers.whatismybrowser.com/useragents/explore/software_name/gigablast-crawler/

ユーザーエージェント名は"Gigabot"。

 

Google

developers.google.comユーザーエージェント名は"Googlebot"。数が多いので上記リソースを参照のこと。

 

LINE Search(日本)

help2.line.meユーザーエージェント名は"Linespider"。

Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36

REPを遵守。

 

Microsoft Bing

www.bing.comユーザーエージェント名は"Bingbot"。

WebクローラのUA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

画像検索で使用するSnapshot生成クローラ"BingPreview"もある。

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko BingPreview/1.0b

https://help.naver.com/service/5626/contents/8026?lang=ko

ユーザーエージェント名は"Yeti"。

Mozilla/5.0(compatible; Yeti...)

REPを遵守。

 

Neeva

neeva.comユーザーエージェント名は"Neevabot"。

Mozilla/5.0 (compatible; Neevabot/1.0; +https://neeva.com/neevabot)

$ host 100.26.127.17
17.127.26.100.in-addr.arpa domain name pointer 100-26-127-17.neevabot.com

REPを遵守。標準的なディレクティブをサポートしています。Allow, Disallow, Crawl-delayなど。

 

Seznam(チェコ)

napoveda.seznam.czユーザーエージェント名は"SeznamBot"。

Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)

テストバージョンのクローラ

Mozilla/5.0 (compatible; SeznamBot/3.2-test4; +http://napoveda.seznam.cz/en/seznambot-intro/)

その他、同社のクローラ仕様書によるとスクリーンショット生成のクローラも別にある。上記リソースを参照のこと。

 

Yandex(ロシア)

yandex.com

yandex.com

ユーザーエージェント名は"YandexBot"。

User-Agent Mozilla/5.0 (compatible; Yandex...

あまり詳細が記載されていない。

 

 

COPYRIGHT © 1997-2021 渡辺隆広(わたなべ たかひろ) ALL RIGHTS RESERVED.

お問い合わせ(お仕事の相談、講演依頼など)

SEMリサーチ(www.sem-r.com)に掲載している文章及び図版の無断使用及び転載を禁じます。著作権侵害行為には厳正に対処します。

免責事項:SEMリサーチは、本記事中で触れている企業、商品、サービスの全て(情報)について、有用性、適合性、正確性、安全性、最新性、真実性に関する一切の保証をしておりません。各自の判断でご利用下さい。