我用的是python2.6。
学习python写爬虫的时候,一般都会用到一个Demo-------
这个Dmoe在学习的时候确实是非常好的例子,但是我们可能需要对它进行修改,这就会出现一些问题。
再对demo进行修改的时候发现了一些编码问题下面就发出来做个记录。 python UnicodeEncodeError:'ascii'code can't encode characters in position 23-26:ordinal not in range(128) 这是一个编码错误。
我的错误代码具体如下:
item['intro'] = self._get_xpath_text(hxs, u'//td[contains(text(), "企业介绍")]/preceding-sibling::td/strong/text()')这样写就会发生下面的错误
这个错误我首先在dmoz_spider.py的文件头部加入了:
# -*- coding:utf-8 -*-
发现没有任何效果。
最后通过在下面的位置加入代码问题就解决了。
这部分一定要在前面加入一句引用:
import sys
编码问题得到解决了
在原例子中把爬取得内容保存成json格式,但是我们平时需要把内容保存到数据中,一般是mysql或者excel中。
在阅读了一些文献后发现可以这么解决,
在进行爬虫的时候命令修改为:
scrapy crawl dmoz -o items.xml -t xml
这样文件会直接保存成一个XML文件,再调用mysql或者excel都可以完全的导入进去。
相关推荐
Python编码规范(Google),Python编码规范(Google),Python编码规范(Google),Python编码规范(Google),Python编码规范(Google)
PEP8Python 编码规范 将Python 的英文编码变成中文的数据规范
python编码规范 想做合格的python-er吗?那就看看python编码规范吧。 业余偶用python做做好玩的东东。觉得它真是一个好东西。python, perl,可以让程序员生活得更充实。
Python开发编码规范 Python开发编码规范
Python 编码规范Python 编码规范Python 编码规范Python 编码规范Python 编码规范
PEP8Python编码规范.pdf
Python编码规范.pdf
PEP8 Python编码规范PDF版,本人结合牛人博客亲自整理,本想免积分分享给大家,奈何最低都要1个积分
python编码规范,根据谷歌编码规范 https://google.github.io/styleguide/pyguide.html整理而成,帮助python程序员规范代码书写
基于python的香农编码实现,进攻大家交流学习。
用python实现算术编码,能够实现编码与译码。编码的方法是通过对一篇已知文章求取概率空间后,对待翻译文章进行算术编码,并能够基于已知文章重新进行算术解码。
google的python编码规范
Python编码规范
Python 编码规范(Google).doc
python编码规范,基础学习知识,喜欢的来哦
Python编码PEP8规范中文版,高清版,里面介绍了代码如何更加规范。
Python 中文编码
原文链接 http://blog.csdn.net/sinchb/article/details/8392827 事先说明哦,这不是一篇关于Python异常的全面介绍的文章,这只是在学习Python异常 后的一篇笔记式的记录和小结性质的文章。什么?你还不知道什么是...