开始学Python,就看看urllib模块,然后参考网上的一些资料,自己动手写一个,新手完全不顾效率和程序的美观,只想试下。最难的部分在于正则,看了一些资料,还是不会,只好凑合使用,莫见笑~
'''
Created on Apr 22, 2010
@author: Leyond
'''
import urllib
import re
def downloadpage(url_hi ='http://hi.baidu.com/',user ='codedeveloper', blogUrl = '/blog/item/809ad16011b3196c0d33fa5f.html'):
url = url_hi +user+ blogUrl
nFail =0
while nFail < 3:
try:
sock = urllib.urlopen(url)
htmlSource = sock.read()
#htmlContent = re.findall(r"<div id=\"m_blog\".*?>",htmlSource,re.I)
# print htmlContent
htmlSourceNew = htmlSource.replace("\n"," ")
htmlContent = re.findall(r"<div id=\"m_blog\".*?<\/div><\/td><\/tr><\/table>",htmlSourceNew,re.I)
user += '/%s' % (blogUrl[11:])
myfile = file(user,'w')
myfile.write("<html><body>"+htmlContent[0]+"</body></html>")#保存有效部分
myfile.close()
urls = re.findall(r"var.*pre.*?/blog/item/.*?html",htmlSource,re.I)
if(len(urls)==1):
blogUrl = re.findall(r"/blog/item/.*?html",urls[0],re.I)
htmlUrl = 'http://hi.baidu.com/' + user + blogUrl[0]
print htmlUrl
downloadpage(blogUrl = blogUrl[0])#递归你所有的文章
else:
break
sock.close()
return
except:
nFail += 1
print 'download blog fail: %s' % (blogUrl)
downloadpage()
用之前,需要在文件所在目录新建一个目录,例如我的博客就是codedeveloper,使用这段程序,需要更改两个参数:
downloadpage(user = "yours",blogUrl = '/blog/item/yournewestblogurl.html')
其中user那里指的是你的用户名,yournewestblogurl说的是你最新那篇博文的地址~
等我进一步学习,我在慢慢改善~ 比如使用线程,wget下载等,还有就是处理图片问题。
分享到:
相关推荐
基于python的百度网盘批量转存工具.zip基于python的百度网盘批量转存工具.zip基于python的百度网盘批量转存工具.zip基于python的百度网盘批量转存工具.zip基于python的百度网盘批量转存工具.zip基于python的百度网盘...
基于python的百度云网盘爬虫,资源包含项目源代码和运行方法,包含百度云网盘爬虫、网站前后端、搜索,整套服务,欢迎伙伴们下载学习。
python 爬取百度搜索结果,及安全验证问题
人们都喜欢最好的东西,想找 Python 视频教程百度网盘?在这呢。 千锋 Python 基础教程:http://pan.baidu.com/s/1qYTZiNE Python 课程教学高手晋级视频总目录: http://pan.baidu.com/s/1hrXwY8k Python 课程 ...
python爬取百度百科的页面主要用BeautifulSoup ,urllib2等
python爬取百度文库实例,代码可见,仅用于学习研究,不可用于各种商业私有用途,
python版CSDN博客备份工具-更新 解决置顶报错问题
python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片
千锋教育 Python 视频教程 www.qfedu.com/video 做真实的自己-用良心做教育 python 入门配套教程百度云分享 Python 由于其简单,快速,库丰富的特点在国内使用的越来越广泛。最 近几年它出现了爆发式的增长,而且与...
python 抓取百度云分享数据,百度云最新接口抓取分享链接。
python解析百度文库获得pdf+word 可以将文档下载下来变成pdf word 可供学习使用
python自动备份mysql数据库,并删除七天前文件。 省去每天手动备份 删除 空出的时间摸鱼不香吗? 备份时间可自己设置 备份文件夹可自己设置 删除文件时间范围可自己设置
Python3写的脚本,windows上应用的,实现服务器上的数据库通过磁盘映射备份到本地其他机器上的共享文件夹中,服务器上指定文件夹下的文件也备份到指定共享文件夹中,并发邮件通知
Python3⼊门视频教程百度⽹盘 视频内容: 第1章 Python⼊门导学 第2章 Python环境安装 第3章 理解什么是写代码与Python的基本类型 第4章 Python中表⽰"组"的概念与定义 第5章 变量与运算符 第6章 分⽀、循环、条件与...
py交换机自动备份脚本。支持华为、思科、华三、 Aruba交换机。将设备ip、账号、密码、写入配置文件运行即可。多台设备一键备份。记录日志,自定义备份位置。需要先安装调用的模块,怎么安装自行百度。
介绍使用python结合mysqldump对mysql数据库进行备份
python3.5 百度ai车牌识别
Python3.5.1安装包百度云链接下载,Python3.5.1安装包百度云链接下载,Python3.5.1安装包百度云链接下载
python查百度收录情况,多线程,速度不错哦!
python基础教程视频教程百度云-python视频教程免费下载, 百度云⽹盘资源,全套!... 废话不说 92天的Python视频教程 送上! 总计52G! 从基础到前端、从web框架篇到项⽬实战,92天的视频,让你从⼊门到熟练!(精通...