`

爬虫之-----各种浏览器代理

 
阅读更多

 

爬虫之-----各种浏览器代理

此博文来自博主尘缘,因本人懒得写,尊重作者,

原文请访问:http://www.4wei.cn/archives/1001007

IE
  而IE各个版本典型的userAgent如下:
  Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)
  Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)
  Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
  Mozilla/4.0 (compatible; MSIE 5.0; Windows NT)
  其中,版本号是MSIE之后的数字。

Firefox
  Firefox几个版本的userAgent大致如下:
  Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1
  Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3
  Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12  其中,版本号是Firefox之后的数字。

Opera
  Opera典型的userAgent如下:
  Opera/9.27 (Windows NT 5.2; U; zh-cn)
  Opera/8.0 (Macintosh; PPC Mac OS X; U; en)
  Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0 
  其中,版本号是靠近Opera的数字。

Safari
  Safari典型的userAgent如下:
  Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13
  Mozilla/5.0 (iPhone; U; CPU like Mac OS X) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/4A93 Safari/419.3
  其版本号是Version之后的数字。

Chrome
  目前,Chrome的userAgent是:
Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 
  其中,版本号在Chrome之后的数字。

Navigator
目前,Navigator的userAgent是:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6
其中,版本号在Navigator之后的数字。

以下是常见浏览器的自定义Agent

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; 360se)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; TencentTraveler 4.0; .NET CLR 2.0.50727)

其中,360浏览器是“360se”,腾讯TT浏览器是“TencentTraveler 4.0”,Sogou浏览器是“SE 2.X MetaSr 1.0”,NET框架版本是“.NET CLR 2.0.50727”。

分享到:
评论

相关推荐

    python 代理浏览器 爬虫源码

    python 代理浏览器 爬虫源码

    【python网络爬虫】-爬取小说

    # 爬虫下载一本小说 import time import requests import os from bs4 import BeautifulSoup # 从bs4库中导入BeautifulSoup import random # 导入随机数模块,用于随机生成休眠时间,防止被封IP(这个方法很慢),还...

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识…...

    crawlergo使用chrome headless模式进行URL收集的浏览器爬虫

    crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK,自动进行表单填充并提交,配合智能的JS事件触发,尽可能的收集...支持请求代理,支持爬虫结果主动推送

    爬虫篇——User-Agent爬取备用及存储

    本文通过抓取常见的User-Agent(用户代理),将其写入列表并保存为json格式文件,且将代码进行了封装,方便以后抓取数据时动态的更新请求头中的User-Agent,模拟真实的浏览器发送请求,从一方面避免抓取数据时反爬的...

    python爬虫教程实战资料合集(浏览器抓包,手机APP抓包,各种模块使用:beautifulSoupy等,及IP代理).zip

    1、该资源内项目代码经过严格调试,...python爬虫教程实战资料合集(包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoupy等,以及IP代理,验证码识).zip

    Python入门网络爬虫之精华版

    Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。 首先列举一下本人总结的相关文章,这些覆盖了入门网络爬虫需要...

    Python-python爬虫教程系列从0到1学习python爬虫

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别,Mysql,MongoDB数据库的...

    python爬虫教程系列、从0到1学习python爬虫

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别...

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别...

    具有网络指纹绕过的爬虫工具python

    1. **User-Agent轮换:** 爬虫工具可以周期性地修改 User-Agent 头部字段,使请求看起来来自不同的浏览器或设备,增加爬虫被检测的难度。 2. **代理IP使用:** 爬虫工具可以集成代理池,通过切换不同的代理IP地址...

    知乎爬虫最新版java

    java写的爬虫多线程爬取知乎用户详细信息,方便简单,重要的是这是最新的

    WPX.NEWS工具集:爬虫采集器和密码管理器

    使用爬虫采集器建议使用代理爬取(虽然速度很慢,也会出现无法爬取数据,但是胜在安全^_^),代理服务器的爬取配置如下(配置>代理服务器配置): 1、点击代理服务器自动获取,进入配置界面 2、配置界面中: (1...

    Python反爬虫机制的主要策略

    在爬取网页时,我们可以通过设置随机生成的User-Agent来伪装成浏览器或其他合法的客户端请求,从而增加爬虫被检测到的概率。另一种方案是使用真实的User-Agent,从浏览器的开发者工具中获取并直接使用该User-Agent...

    Python爬虫基础知识

    通过模拟浏览器行为发送网络请求,爬虫可以获取网页内容并提取所需信息。为了有效抓取数据,爬虫开发者通常会使用诸如requests和BeautifulSoup这样的库来简化网络请求和页面解析的过程。 在爬虫开发中,了解目标...

    Python爬虫库框架学习及Python高度匿名代理IP

    7.RoboBrowser – 一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页。 8.MechanicalSoup -一个与网站自动交互Python库。 9.mechanize -有状态、可编程的Web浏览库。 10.socket – 底层网络接口...

    python爬虫教程系列、从0到1学习python爬虫.zip

    包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识… 爬虫(Web Crawler)是一种自动化程序,用于...

    零基础学习python以及当当网百度新闻豆瓣爬虫项目实战源码.zip

    [example-17.py](/blob/master/examples/example-17.py) 爬虫的浏览器伪装技术实战 18. [example-18.py](/blob/master/examples/example-18.py) CSDN博文爬虫实战 19. [example-19.py](/blob/master/examples/...

Global site tag (gtag.js) - Google Analytics