Skip to content
seo

SEO知识:网站根目录robots.txt配置常见搜索引擎的蜘蛛User-agent参数

SEO知识:网站根目录robots.txt配置常见搜索引擎的蜘蛛User-agent参数

Robots使用说明
1. robots.txt可以告诉搜索引擎您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
2. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

User-agent 搜索引擎 其他备注
Baiduspider 百度搜索
Baiduspider-video 百度视频
Baiduspider-news 百度新闻
Baiduspider-image 百度图片
Googlebot 谷歌蜘蛛
Googlebot-Image 谷歌图片
AdsBot-Google 谷歌广告
Sogou wap spider 搜狗无线端UA
Sogou web spider 搜狗网页蜘蛛
Sogou inst spider 搜狗
Sogou spider2 搜狗
Sogou blog 搜狗博客 博客类站点教程类文章一般权重较高
Sogou News Spider 搜狗新闻
Sogou Orion spider 搜狗
ChinasoSpider 中国搜索蜘蛛
Sosospider 搜搜网页搜索
yisouspider 神马搜索 移动端
EasouSpider 宜搜蜘蛛
JikeSpider 即刻蜘蛛
YYspider 未知
360spider 360搜索 360蜘蛛不遵守robots.txt规则
HaosouSpider 360更名好搜后出的蜘蛛
Twitterbot Twitter
msnbot-media MSN
MSNBot MSN
WochachaSpider 我查查
Bytespider 今日头条字节跳动
ToutiaoSpider 今日头条字节跳动 这两个字节跳动UA都是在大站上找到的
bingbot bing搜索
Yahoo! Slurp Yahoo
EtaoSpider 一淘网蜘蛛
HuihuiSpider 惠惠购物助手
GwdangSpider 购物党
YoudaoBot 有道
facebookexternalhit Facebook

参考:
User-agent: Baiduspider
Disallow:
User-agent: Baiduspider-image
Disallow:
User-agent: Baiduspider-video
Disallow:
User-agent: Baiduspider-news
Disallow:
User-agent: Baiduspider-favo
Disallow:
User-agent: Baiduspider-cpro
Disallow:
User-agent: Baiduspider-ads
Disallow:
User-agent: HaosouSpider
Disallow:
User-agent: Bytespider
Disallow:
User-agent: ToutiaoSpider
Disallow:
User-agent: YoudaoBot
Disallow:
User-agent: JikeSpider
Disallow:
User-agent: yisouspider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: Sogou Orion spider
Disallow:
User-agent: Sogou News Spider
Disallow:
User-agent: Sogou blog
Disallow:
User-agent: Sogou spider2
Disallow:
User-agent: Sogou web spider
Disallow:
User-agent: Sogou wap spider
Disallow:
User-agent: Sogou inst spider
Disallow:
User-agent: Sosospider
Disallow:
User-agent: Sospider
Disallow:
User-agent: sogou spider
Disallow:
User-agent: YodaoBot
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: twiceler
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Gigabot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: psbot
Disallow:
User-agent: *
Disallow:
Disallow: /wp-admin/

https://www.jiaochengku.com/robots.txt
https://www.sogou.com/robots.txt
https://www.aliyun.com/robots.txt
https://cn.bing.com/robots.txt
https://www.google.com/robots.txt