主要包含点:文件读取(linecache)、循环取值、获取url请求状态码、对请求状态码判断等
python中linecache模块的用法
#coding:utf-8 import os,urllib,linecache import sys for x in linecache.updatecache(r'url.txt'): try: a = urllib.urlopen(x.replace('/n','')).getcode() print x,a except Exception,e: print e if a == 200: print(u'状态正常!') else: print(u'访问异常,URL为:%s',x)
调用的文件为url.txt,放在项目文件夹里面
以上代码未考虑到超时的情况,需要进行进一步优化,通过查找资料,了解到需要用到socket库,那么久import一下socket库
需要事先定义超时规则,然后再执行连接请求,这里设置超过10秒请求不成功,定义为超时
代码如下:
import socket socket.setdefaulttimeout(10)
相关推荐
Python urllib urllib2 urllib模块安装说明
python urllib3 安装文件包
Python urllib urllib2 urllib模块
Python3中将python2.7的urllib和urllib2两个包合并成了⼀个urllib库,其主要包括⼀下模块: urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 ...
python爬虫实例——基于BeautifulSoup与urllib.request,思路是打开目标链接,并爬取通过BeautifulSoup一定区域中的img标签中的src进行保存。
python urllib3 requests
python入门基础教程:python的urllib2 模块解析.pptx
urllib3 最新版本爬虫 whl安装包 python2-3可用 32位 可用
python 2.7 urllib2的详细使用教程
python urllib 使用PPT python urllib使用PPT
主要介绍了python3 中使用urllib问题以及urllib详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
#########start 获取url的返回信息############ def jwkj_url_postget(url,vlaues): data = urllib.urlencode(values) req = urllib2.Request(url, data) response = urllib2.urlopen(req) str = resp
urllib3 is a python lib 1.线程安全 2.连接池 3.客户端SSL/TLS验证 4.文件分部编码上传 5.协助处理重复请求和HTTP重定位 6.支持压缩编码 7.支持HTTP和SOCKS代理
使用python写的下载linux.linuxidc.com的资源。对于其它网页,请自行修改
Python爬虫基础之Urllib库,里面包含一些基础的操作,适合基础学习,包括案例,代理设置等
urllib库是Python内置的请求库,能够实现简单的页面爬取功能。值得注意的是,在Python2中,有urllib和urllib2两个库来实现请求的发送。但在Python3中,就只有urllib库了。由于现在普遍流行只用Python3了,所以...
Python
使用Python 3.x版本运行py文件时报错 No module named 'urllib3' 一开始参照网上的安装方法通过pip来安装,未成功pip install urllib3 后面找到了这个文件,分享给大家。 使用方法是下载解压后,cmd里切换到解压...
在Python中,我们通常使用urllib中的urlencode方法将字典编码,用于提交数据给url等操作,但是在Python2和Python3中urllib模块中所提供的urlencode的包位置有些不同。 对于Python2 Python2中提供了urllib和urllib2两...