- 浏览: 108793 次
- 性别:
- 来自: 南昌
最新评论
python SGMLParser
模块处理html解析非常的方便,它将HTML 处理分成三步:将 HTML 分解成它的组成片段,对片段进行加工,接着将片段再重新合成 HTML。第一步是通过 sgmllib.py 来完成的,它是标准 Python 库的一部分。
理
解本章的关键是要知道 HTML 不只是文本,更是结构化文本。这种结构来源于开始与结束标记的或多或少分级序列。通常您并不以这种方式处理 HTML
,而是以文本方式 在一个文本编辑中对其进行处理,或以可视的方式 在一个浏览器中进行浏览或页面编辑工具中进行编辑。sgmllib.py 表现出了
HTML 的结构。
sgmllib.py 包含一个重要的类:SGMLParser。SGMLParser 将 HTML
分解成有用的片段,比如开始标记和结束标记。在它成功地分解出某个数据为一个有用的片段后,它会根据所发现的数据,调用一个自身内部的方法。为了使用这个
分析器,您需要子类化 SGMLParser 类,并且覆盖这些方法。这就是当我说它表示了 HTML 结构 的意思:HTML
的结构决定了方法调用的次序和传给每个方法的参数。
SGMLParser 将 HTML 分析成 8 类数据,然后对每一类调用单独的方法:
开始标记 (Start tag)
是开始一个块的 HTML 标记,像 、、 或
等,或是一个独一的标记, 像 或 等。当它找到一个开始标记 tagname, SGMLParser 将查找名为 start_tagname 或 do_tagname 的方法。 例如,当它找到一个标记,它将查找一个 start_pre 或 do_pre 的方法。 如果找到了,SGMLParser 会使用这个标记的属性列表来调用这个方法; 否则,它用这个标记的名字和属性列表来调用 unknown_starttag 方法。 结束标记 (End tag) 是结束一个块的 HTML 标记,像 、、 或等。
当找到一个结束标记时,SGMLParser 将查找名为 end_tagname 的方法。
如果找到,SGMLParser 调用这个方法,否则它使用标记的名字来调用 unknown_endtag 。
字符引用 (Character reference)
用字符的十进制或等同的十六进制来表示的转义字符,
像 。当找到,SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。
实体引用 (Entity reference)
HTML 实体,像 ©。当找到,SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。
注释 (Comment)
HTML 注释,包括在 <!-- ... -->之间。当找到,SGMLParser 用注释内容来调用 handle_comment。
处理指令 (Processing instruction)
HTML 处理指令,包括在 之间。当找到,SGMLParser 用处理指令内容来调用 handle_pi。
声明 (Declaration)
HTML 声明,如 DOCTYPE,包括在 <!-- ... -->之间。当找到,SGMLParser 用声明内容来调用 handle_decl。
文本数据 (Text data)
文本块。不满足其它 7 种类别的任何东西。当找到,SGMLParser 用文本来调用 handle_data。
重要
Python 2.0 存在一个 bug,即 SGMLParser 完全不能识别声明 (handle_decl 永远不会调用),
这就意味着 DOCTYPE 被静静地忽略掉了。这个错误在 Python 2.1 中改正了。
sgmllib.py 所附带的一个测试套件举例说明了这一点。您可以运行 sgmllib.py,
在命令行下传入一个 HTML 文件的名字,然后它会在分析标记和其它元素的同时将它们打印出来。
它的实现是通过子类化 SGMLParser 类,然后定义 unknown_starttag,unknown_endtag,handle_data
和其它方法来实现的。这些方法简单地打印出它们的参数。
如果要详细的了解python SGMLParser的用法的话,可以看看python SGMLParser 的文档,
下面放上个我用python SGMLParsr写的例子,希望对大家有帮助:
#encoding=utf-8
#@description:baidutiba content
import sys
import re
import httplib
import urllib
from sgmllib import SGMLParser
class BaidutiebaParser(SGMLParser):
'''在百度贴吧里采集相应的关键字的标题'''
def reset(self):
SGMLParser.reset(self)
self.info = []#
self.q_check = 0
self.num = 0
self.strcontent = ''
def start_td(self, tag):
'''匹配 标签'''
if len(tag)!=0 and tag[0][1] == 's':
self.num = self.num + 1
self.q_check = 1
def handle_data(self, text):
'''处理文本'''
txt = text.strip()
if txt and self.q_check:
for i in checklist:
pipei = r'%s' % str(i)#在要匹配的信息里找到和关键字匹配
check_pan = re.compile(pipei)
if check_pan.search(txt) is not None:
self.info.append(txt)
else:
continue
self.strcontent = '$|$'.join(self.info)
def end_td(self):
'''匹配'''
self.q_check = 0
############################################配置信息#############################
keylist = ['旅游']#贴吧名称
checklist = ['张家界','韩国']#要查询的关键字
content = {}#采集内容
for m in keylist:
page = 0
keyword = urllib.quote(m.decode('utf-8').encode('gbk'))
for i in xrange(10):
url = '''http://tieba.baidu.com/f?z=0&ct=318767104&lm=11&sc=0&rn=50&tn=baiduKeywordSearch&rs3=0&rs4=0&word=%s&pn=%s''' % (str(keyword),str(page))
data = urllib.urlopen(url).read()
data = unicode(data, 'gbk').encode('utf-8')
parser = BaidutiebaParser()
parser.feed(data)
content[i+1] = parser.strcontent
page = page + 50
for k in content.keys():
print k
print content[k]
如果你对python queue模块 也感兴趣的话,可以看看!
上面的例子也用到了python 字符串替换 的一些方法。
作者:老王@python python教程
老王python,提供pythn相关的python教程和python下载 ,希望大家能够喜欢
发表评论
-
python classmethod类方法
2013-06-04 21:23 733python classmethod类方法的要点主要有3个: ... -
分享python ASCII返回对应的值(chr)
2013-06-04 21:17 759比如我们知道大写的A的ASCII码为 65,小写a的ASCI ... -
分享python 判断对象是否可以调用(callable)
2013-06-04 21:12 681我们需要判断python中的对象是否可以调用,可以用内置方法 ... -
python unittest单元测试方法和用例
2013-06-04 21:08 1040python内部自带了一个单元测试的模块,pyUnit也就是 ... -
python 字典(dict)get方法应用
2013-06-03 22:14 781如果我们需要获取字典值的话,我们有两种方法,一个是通过dic ... -
python 正则表达式re findall
2013-06-03 22:13 935python 正则表达式 re findall 方法能够以列 ... -
python中文分词
2013-06-03 22:13 977python做SEO相关事情,我 ... -
python yield和generators(生成器)
2013-06-03 22:12 718在python中,yield就是这样的一个生成器。 yie ... -
fabric 批量执行服务器任务和自动化运维管理
2013-06-03 22:12 822上节我们已经把fabric给 ... -
分享fabric的安装和配置
2013-05-23 20:04 875fabric的安装可以选择用python的pip安装或者eas ... -
分享python 私有属性和方法
2013-05-23 20:04 681python默认的成员函数和 ... -
python 怎么自定义异常
2013-05-23 20:03 813如果你需要自定义异常 ... -
分享python 字符串(string) format介绍和代码
2013-05-23 20:02 738你可以用字符串的format方法来格式化输出字符串。 比如; ... -
python 包的定义,结构,导入过程
2013-05-23 20:01 649假设你想设计一个模块集(也就是一个“python 包” ... -
分享python del语句的知识点
2013-05-15 20:27 724python del方法从列表中删除某个项目索引,这个和列表 ... -
python filter, map, 和reduce
2013-05-15 20:26 648filter(function, sequence):对se ... -
python pass (空操作)语句
2013-05-15 20:25 880pass语句通常什么都不做。它可以表示语句,但这个程序不需要 ... -
python break和continue语句
2013-05-15 20:25 738break语句,就像在C语言中,打破了最小封闭for或whi ... -
分享python range方法
2013-05-11 22:42 779如果你需要遍历一个数字序列,内置函数range()就派上用场 ... -
分享下python 字符串特点
2013-05-11 22:42 692除了数值,Python可以操作字符串,它可以表现在以下几个方 ...
相关推荐
python解析html的几种方法,lxml,xpath,htmlparser,SGMLParser等操作
本文实例讲述了Python实现登录人人网并抓取新鲜事的方法。分享给大家供大家参考。具体如下: 这里演示了Python登录人人网并抓取新鲜事的方法(抓取后的排版不太美观~~) from sgmllib import SGMLParser import sys...
SGML解析工具 sp1.3.4 linux下安装包。很有效的解析器。
win32的SGML解析工具,版本为1_3_4。 只有exe、dll和说明文档。 很方便的一个工具。
复制代码 代码如下:from sgmllib import SGMLParserimport urllib2 class sgm(SGMLParser): def reset(self): SGMLParser.reset(self) self.srcs=[] self.ISTRUE=True def start_div(self,artts): for k,v in...
复制代码 代码如下:#_*_coding:utf_8_ ...class spider(SGMLParser): def __init__(self, email, password): SGMLParser.__init__(self) self.email = email self.password = password self.domain = ‘ren
用于Java的SGML解析器,基于OpenSP。