爬虫之-----各种浏览器代理
此博文来自博主尘缘,因本人懒得写,尊重作者,
原文请访问:http://www.4wei.cn/archives/1001007
IE
而IE各个版本典型的userAgent如下:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)
其中,版本号是MSIE之后的数字。
Firefox
Firefox几个版本的userAgent大致如下:
Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12 其中,版本号是Firefox之后的数字。
Opera
Opera典型的userAgent如下:
Opera/9.27 (Windows NT 5.2; U; zh-cn)
Opera/8.0 (Macintosh; PPC Mac OS X; U; en)
Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0
其中,版本号是靠近Opera的数字。
Safari
Safari典型的userAgent如下:
Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13
Mozilla/5.0 (iPhone; U; CPU like Mac OS X) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/4A93 Safari/419.3
其版本号是Version之后的数字。
Chrome
目前,Chrome的userAgent是:
Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13
其中,版本号在Chrome之后的数字。
Navigator
目前,Navigator的userAgent是:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6
其中,版本号在Navigator之后的数字。
以下是常见浏览器的自定义Agent
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; 360se)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; TencentTraveler 4.0; .NET CLR 2.0.50727)
其中,360浏览器是“360se”,腾讯TT浏览器是“TencentTraveler 4.0”,Sogou浏览器是“SE 2.X MetaSr 1.0”,NET框架版本是“.NET CLR 2.0.50727”。
相关推荐
python 代理浏览器 爬虫源码
# 爬虫下载一本小说 import time import requests import os from bs4 import BeautifulSoup # 从bs4库中导入BeautifulSoup import random # 导入随机数模块,用于随机生成休眠时间,防止被封IP(这个方法很慢),还...
python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识…...
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集...支持请求代理,支持爬虫结果主动推送
本文通过抓取常见的User-Agent(用户代理),将其写入列表并保存为json格式文件,且将代码进行了封装,方便以后抓取数据时动态的更新请求头中的User-Agent,模拟真实的浏览器发送请求,从一方面避免抓取数据时反爬的...
1、该资源内项目代码经过严格调试,...python爬虫教程实战资料合集(包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoupy等,以及IP代理,验证码识).zip
Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。 首先列举一下本人总结的相关文章,这些覆盖了入门网络爬虫需要...
python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别,Mysql,MongoDB数据库的...
python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别...
python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别...
1. **User-Agent轮换:** 爬虫工具可以周期性地修改 User-Agent 头部字段,使请求看起来来自不同的浏览器或设备,增加爬虫被检测的难度。 2. **代理IP使用:** 爬虫工具可以集成代理池,通过切换不同的代理IP地址...
java写的爬虫多线程爬取知乎用户详细信息,方便简单,重要的是这是最新的
使用爬虫采集器建议使用代理爬取(虽然速度很慢,也会出现无法爬取数据,但是胜在安全^_^),代理服务器的爬取配置如下(配置>代理服务器配置): 1、点击代理服务器自动获取,进入配置界面 2、配置界面中: (1...
在爬取网页时,我们可以通过设置随机生成的User-Agent来伪装成浏览器或其他合法的客户端请求,从而增加爬虫被检测到的概率。另一种方案是使用真实的User-Agent,从浏览器的开发者工具中获取并直接使用该User-Agent...
通过模拟浏览器行为发送网络请求,爬虫可以获取网页内容并提取所需信息。为了有效抓取数据,爬虫开发者通常会使用诸如requests和BeautifulSoup这样的库来简化网络请求和页面解析的过程。 在爬虫开发中,了解目标...
7.RoboBrowser – 一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页。 8.MechanicalSoup -一个与网站自动交互Python库。 9.mechanize -有状态、可编程的Web浏览库。 10.socket – 底层网络接口...
包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识… 爬虫(Web Crawler)是一种自动化程序,用于...
[example-17.py](/blob/master/examples/example-17.py) 爬虫的浏览器伪装技术实战 18. [example-18.py](/blob/master/examples/example-18.py) CSDN博文爬虫实战 19. [example-19.py](/blob/master/examples/...