网易 yodao 有道: Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/ ; )
Yaodao其它: Mozilla/5.0 (compatible;YodaoBot-Reader/1.0;http://www.yodao.com/help/webmaster/spider/;1 subscriber;)
Goolgle : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
yahoo: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp )
Yahoo中国: Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html )
baidu: "Baiduspider+(+http://www.baidu.com/search/spider.htm)
baidu代码: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0, gate.baidu.com)
msn: msnbot/1.1 (+http://search.msn.com/msnbot.htm)
sogou: Sogou Orion spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
sogou2: Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
QQsoso图片: Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)
还有个超长的: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; QQDownload 1.7; WPS; Mozilla/4.0(Compatible Mozilla/4.0(Compatible-EmbeddedWB 14.59 http://bsalsa.com/ EmbeddedWB- 14.59 from: http://bsalsa.com/ ; Mozilla/4.0(Compatible Mozilla/4.0EmbeddedWB- 14.59 from: http://bsalsa.com/ ; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)
分享到:
相关推荐
编写Python爬虫时,使用的User-Agent,该资源包含各浏览器及Android, iOS的User-Agent
spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项-spider-admin-pro
<a target="_blank" href="https://www.oracle.com/technetwork/java/javase/downloads/index.html"><img ... <a target="_blank" href="https://github.com/ssssssss-team/spider-flow/releases"><img src="http
商剑分布式网络蜘蛛,性能高速运转,能耗尽全部带宽,可批量采集海量数据的网页,若几百台服务器安装商剑分布式网络蜘蛛,分块同时抓取整个WEB不同站点,短时期内可以抓取100亿网页!商剑分布式网络蜘蛛,是大型搜索...
PY简易爬虫,调用百度API爬出百度的一些指数
一看不得了,基本上都是被一个User Agent叫”YisouSpider”的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了。 找到根目录配置区,增加User Agent过滤判断语句,发现叫”YisouSpider”的直接返回403 注1:如果...
QQ-Groups-Spider-master-pythonpython源码
spider-mvc-源码.rar
C#-Spider网络爬虫网络机器人网络蜘蛛多线程下载HTTP协议[归类].pdf
python库,解压后可用。 资源全名:nhm_spider-1.2-py3-none-any.whl
Spider_Pdd-master.zip
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
34-Lucas the Spider - Captured - Short.en.srt
QQ-Groups-Spider-master-python.rar Python爬虫入门需要掌握Python基础语法、网络请求和数据抓取、解析HTML和XML、处理HTTP响应、数据存储、使用代理和反爬策略、并发和多线程等技术,并遵守相关法律和道德规范。
python库。 资源全名:like_spider-1.0.5-py3-none-any.whl
python库,解压后可用。 资源全名:simple_spider-1.3.5-py3-none-any.whl
python库,解压后可用。 资源全名:lazy_spider-0.1.6-py3-none-any.whl
资源来自pypi官网。 资源全名:simple_spider-1.3.5-py3-none-any.whl
资源来自pypi官网。 资源全名:lazy_spider-0.1.6-py3-none-any.whl