论坛首页 → 编程语言技术论坛 →

最近写了个Python爬虫，记录一下学到的东西

浏览 8142 次
锁定老帖子 主题：最近写了个Python爬虫，记录一下学到的东西
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
  • 小白·菜
  • 等级: 一星会员
  • 性别:
  • 文章: 50
  • 积分: 160
  • 来自: 长沙
   发表时间：2010-02-22   最后修改：2010-02-23
  1. urllib2 是针对文本的 urllib 是针对二进制文件的
  2. 下载文件最简单的写法
    urllib.urlretrieve(url, filePath + fileName)
  3. 如果需要访问非英文页面文字，自行 decode 
    html.decode('euc-jp').encode('utf-8')
  4. 使用 BeautifulSoup 处理 html 非常方便，但是在 Jython 下速度超级慢！
  5. 可以直接使用正则在 BeautifulSoup 中查找需要的标签 
    links = soup.findAll('a', href=re.compile('^.+?$')
  6. try except else 的应用
  7. 强制抛出异常 raise
  8. 使用格式化文本实现数字补零
    fileName = '%03d.jpg' %(time)
  9. 新建文件夹
    if not os.path.isdir(filePath):
            os.mkdir(filePath)
  10. 字符串和数字无法相加 需要讲数字转化为字符串 str(num)
  11. cmp 可以用来比较两个字符串，完全相同返回 0
  12. # -*- coding: utf-8 -*- 非常重要，不光影响代码中的注释，还会影响到处理文本。起初忘记加这个，导致日文无法正常处理。
返回顶楼
         
  • lsc20051426
  • 等级: 初级会员
  • 性别:
  • 文章: 26
  • 积分: 30
  • 来自: 北京
   发表时间：2010-02-24  
LZ,不用使用代理么？应该把设置代理的部分也加上
返回顶楼
          回帖地址
0 请登录后投票
  • 小白·菜
  • 等级: 一星会员
  • 性别:
  • 文章: 50
  • 积分: 160
  • 来自: 长沙
   发表时间：2010-02-26  
慢慢来，现在还只是针对两三个网站抓取特定资源。
慢慢扩展。
返回顶楼
          回帖地址
0 请登录后投票
论坛首页 → 编程语言技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics