`
zl198751
  • 浏览: 272877 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Python 访问http, https请求

阅读更多

import cookielib
import urllib2
from urllib2 import *
from cStringIO import StringIO
from gzip import GzipFile

cj = cookielib.CookieJar()
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password('PMI',
                          uri='host-url ',       #like: 'www.baidu.com'
                          user='user-name', 
                          passwd='password')

opener = urllib2.build_opener(urllib2.HTTPSHandler(), auth_handler, urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)

req = Request('*******')
req.add_header('Accept-Encoding', 'gzip, deflate') # 用于设置返回的数据是gzip文件,如果是普通的html不需要设置这个内容。


handle = urllib2.urlopen(req)


data = handle.read()
io = StringIO(data)
data = GzipFile('', 'r', 0, io).read()
print data

分享到:
评论

相关推荐

    python伪造IP多线程发送http请求

    注,需要安全scapy 在centos下,请执行以下脚本安装scapy #!/usr/bin sh cd /tmp wget scapy.net unzip scapy-latest.zip cd scapy-2.* python setup.py install 需要手工启动和杀线程关闭 经测python2可用

    Python 解决直接访问请求地址返回403错误的问题 Python源码

    Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403...

    python 发送 http 请求

    Python2 >= 2.6 IP不变,多线程发送请求, 无限递增,需要手工杀掉, 用作简单访问压力测试辅助工具

    python多线程批量访问url脚本

    python多线程批量访问url脚本;使用grequests多线程访问,结果写入excel和txt都有,详细注释

    python 远程访问摄像头

    服务端收到客户端请求后开启摄像头并不断发送图像给客户端,客户端接收图像并显示。

    python zip

    python 解压 压缩文件。

    Python-FlaskLimiter是一个Flask的扩展库它可以根据访问者的IP限制其访问频率次数等

    Flask-Limiter 是一个 Flask 的扩展库,它可以根据访问者的 IP 限制其访问频率、次数等

    HTTP 测试工具V1.0 —— Python Tkinter 版本

    1、支持 http2.0 与 http1.0 进行转换测试; 2、UA 允许 随机生成; 3、忽略 证书验证; 4、支持 Xpath 解析数据; 5、允许代理测试; 6、允许 身份认证测试; 7、允许阻止 重定向; 8、对于展示结果 可以进行选择; ...

    Python高级HTTP|Mysql

    我们在访问一台服务器的时候, 需要记住该服务器的IP地址, 由于IP地址不利于人们记忆, 所以推出的域名技术. 域名是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称, 用于在数据传输时标识计算机...

    如何基于Python + requests实现发送HTTP请求

    这篇文章主要介绍了如何基于Python + requests实现发送HTTP请求,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 一、在接口自动化测试过程中,存在两种情况: ...

    超高速异步协程Python爬虫.zip

    这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本...

    Python并发请求下限制QPS(每秒查询率)的实现代码

    前两天有一个需求,需要访问某API服务器请求数据,该服务器限制了QPS=2(哈哈应该都知道是哪个服务器了吧_(:з」∠)_),因为QPS很小所以就使用阻塞式请求。后来开通了服务,QPS提高到了20,阻塞式请求满足不了这个QPS...

    Python HTTP服务搭建显示本地文件

    主要介绍了Python HTTP服务搭建显示本地文件的相关资料,需要的朋友可以参考下

    网络爬虫-解决直接访问请求地址返回403错误的问题-Python实例源码.zip

    网络爬虫-解决直接访问请求地址返回403错误的问题-Python实例源码.zip

    Python 使用指定的网卡发送HTTP请求的实例

    需求: 一台机器上有多个网卡, 如何访问指定的 URL 时使用指定的网卡发送数据呢? $ curl --interface eth0 www.baidu.com # curl interface 可以指定网卡 阅读 urllib.py 的源码, 追述到 open_http –> httplib.HTTP...

    自动化接口测试-requests+python实现

    它提供了一组简单易用的API,可以方便地模拟发送HTTP/HTTPS请求,并返回响应数据。借助这个工具,我们可以实现接口测试自动化。通过requests库,我们可以轻松构建各种类型的HTTP请求,如GET、POST等,并接收返回的...

    Python requests发送post请求的一些疑点

    在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法。一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要是因为容易混淆 POST提交的方式 。...

    基于Python实现的HTTP代理服务器设计.zip

    要求在指定端口(例如8080)接收来自客户的HTTP请求并且根据其中的URL地址访问该地址所指向的HTTP服务器(原服务器),接收HTTP服务器的响应报文,并将响应报文转发给对应的客户进行浏览。 (2)设计并实现一个支持...

Global site tag (gtag.js) - Google Analytics