検索エンジンクローラ一覧（2022年8月時点）

自分用のメモ。

Apple

support.apple.comユーザーエージェント名は"Applebot"。SiriやSpotlightの候補表示のために使用される。

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

Baidu（中国）

help.baidu.comユーザーエージェント名は"Baiduspider"。

DuckDuckGo

help.duckduckgo.com

ユーザーエージェント名は"DuckDuckBot"。REPを遵守。クローラのIPアドレスは上記リソースに記載あり。

Gigablast

https://developers.whatismybrowser.com/useragents/explore/software_name/gigablast-crawler/

ユーザーエージェント名は"Gigabot"。

Google

developers.google.comユーザーエージェント名は"Googlebot"。数が多いので上記リソースを参照のこと。

LINE Search（日本）

help2.line.meユーザーエージェント名は"Linespider"。

Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36

REPを遵守。

Microsoft Bing

www.bing.comユーザーエージェント名は"Bingbot"。

WebクローラのUA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

画像検索で使用するSnapshot生成クローラ"BingPreview"もある。

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko BingPreview/1.0b

NAVER（韓国）

https://help.naver.com/service/5626/contents/8026?lang=ko

ユーザーエージェント名は"Yeti"。

Mozilla/5.0(compatible; Yeti...)

REPを遵守。

Neeva

neeva.comユーザーエージェント名は"Neevabot"。

Mozilla/5.0 (compatible; Neevabot/1.0; +https://neeva.com/neevabot)

$ host 100.26.127.17
17.127.26.100.in-addr.arpa domain name pointer 100-26-127-17.neevabot.com

REPを遵守。標準的なディレクティブをサポートしています。Allow, Disallow, Crawl-delayなど。

Seznam（チェコ）

napoveda.seznam.czユーザーエージェント名は"SeznamBot"。

Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)

テストバージョンのクローラ

Mozilla/5.0 (compatible; SeznamBot/3.2-test4; +http://napoveda.seznam.cz/en/seznambot-intro/)

その他、同社のクローラ仕様書によるとスクリーンショット生成のクローラも別にある。上記リソースを参照のこと。

Yandex（ロシア）

yandex.com

yandex.com

ユーザーエージェント名は"YandexBot"。

User-Agent Mozilla/5.0 (compatible; Yandex...

あまり詳細が記載されていない。