`

使用python 提取html文件中的特定数据

 
阅读更多


python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类，并在子类中对html文件做具体处理。

例如 具有如下结构的html文件

 

[html]view plaincopy
 
  1. <divclass='entry-content'>
  2. <p>感兴趣内容1</p>
  3. <p>感兴趣内容2</p>
  4. ……
  5. <p>感兴趣内容n</p>
  6. </div>
  7. <divclass='content'>
  8. <p>内容1</p>
  9. <p>内容2</p>
  10. ……
  11. <p>内容n</p>
  12. </div>

 

 

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于

[html]view plaincopy
 
  1. <divclass='entry-content'>
  2. <p>这里的内容</p>
  3. <p>还有这里</p>
  4. ……
  5. <p>以及这里的内容</p>
  6. </div>

思路如下

  1. 遇到<div class='entry-content'> 设置标记flag = True
  2. 遇到</div>后 设置标记flag = False
  3. 当flag 为True时遇到<p> 设置标记getdata = True
  4. 遇到</p> 且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

  • 开始标记 (Start tag)
是一个开始一个块的 HTML 标记，象 <html>，<head>，<body> 或 <pre> 等，或是一个独一的标记，象 <br> 或 <img> 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为start_tagname或do_tagname的方法。例如，当它找到一个 <pre> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用unknown_starttag方法。
  • 结束标记 (End tag)
是结束一个块的 HTML 标记，象 </html>，</head>，</body> 或 </pre> 等。当找到一个结束标记时，SGMLParser 将查找名为end_tagname的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用unknown_endtag。
  • 字符引用 (Character reference)
用字符的十进制或等同的十六进制来表示的转义字符，象 &#160;。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用handle_charref。
  • 实体引用 (Entity reference)
HTML 实体，象 &copy;。当找到，SGMLParser 使用 HTML 实体的名字来调用handle_entityref。
  • 注释 (Comment)
HTML 注释, 包括在 <!-- ... -->之间。当找到，SGMLParser 用注释内容来调用handle_comment。
  • 处理指令 (Processing instruction)
HTML 处理指令，包括在 <? ... > 之间。当找到，SGMLParser 用处理指令内容来调用handle_pi。
  • 声明 (Declaration)
HTML 声明，如 DOCTYPE，包括在 <! ... >之间。当找到，SGMLParser 用声明内容来调用handle_decl。
  • 文本数据 (Text data)
文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用handle_data。

 

综上，的到如下代码

[python]view plaincopy
 
  1. fromsgmllibimportSGMLParser
  2. classGetIdList(SGMLParser):
  3. defreset(self):
  4. self.IDlist=[]
  5. self.flag=False
  6. self.getdata=False
  7. SGMLParser.reset(self)
  9. defstart_div(self,attrs):
  10. fork,vinattrs:#遍历div的所有属性以及其值
  11. ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  12. self.flag=True
  13. return
  15. defend_div(self):#遇到</div>
  16. self.flag=False
  18. defstart_p(self,attrs):
  19. ifself.flag==False:
  20. return
  21. self.getdata=True
[python]view plaincopy
 
  1. defend_p(self):#遇到</p>
  2. ifself.getdata:
  3. self.getdata=False
  5. defhandle_data(self,text):#处理文本
  6. ifself.getdata:
  7. self.IDlist.append(text)
[python]view plaincopy
 
  1. defprintID(self):
  2. foriinself.IDlist:
  3. printi


上面的思路存在一个bug
遇到</div>后 设置标记flag = False
如果遇到div嵌套怎么办？

[html]view plaincopy
 
  1. <divclass='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div>

在遇到第一个</div>之后标记flag = False，导致无法的到‘感兴趣内容’。
怎么办呢？如何判断遇到的</div>是和<div class='entry-content'>匹配的哪个呢？
很简单，</div>和<div>是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。


修改后如下

[python]view plaincopy
 
  1. fromsgmllibimportSGMLParser
  2. classGetIdList(SGMLParser):
  3. defreset(self):
  4. self.IDlist=[]
  5. self.flag=False
  6. self.getdata=False
  7. self.verbatim=0
  8. SGMLParser.reset(self)
  10. defstart_div(self,attrs):
  11. ifself.flag==True:
  12. self.verbatim+=1#进入子层div了，层数加1
  13. return
  14. fork,vinattrs:#遍历div的所有属性以及其值
  15. ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  16. self.flag=True
  17. return
  19. defend_div(self):#遇到</div>
  20. ifself.verbatim==0:
  21. self.flag=False
  22. ifself.flag==True:#退出子层div了，层数减1
  23. self.verbatim-=1
  25. defstart_p(self,attrs):
  26. ifself.flag==False:
  27. return
  28. self.getdata=True
  30. defend_p(self):#遇到</p>
  31. ifself.getdata:
  32. self.getdata=False
  34. defhandle_data(self,text):#处理文本
  35. ifself.getdata:
  36. self.IDlist.append(text)
  38. defprintID(self):
  39. foriinself.IDlist:
  40. printi



最后建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析

t.printID()打印出结果

 

全部测试代码为

 

[python]view plaincopy
 
  1. fromsgmllibimportSGMLParser
  2. classGetIdList(SGMLParser):
  3. defreset(self):
  4. self.IDlist=[]
  5. self.flag=False
  6. self.getdata=False
  7. self.verbatim=0
  8. SGMLParser.reset(self)
  10. defstart_div(self,attrs):
  11. ifself.flag==True:
  12. self.verbatim+=1#进入子层div了，层数加1
  13. return
  14. fork,vinattrs:#遍历div的所有属性以及其值
  15. ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  16. self.flag=True
  17. return
  19. defend_div(self):#遇到</div>
  20. ifself.verbatim==0:
  21. self.flag=False
  22. ifself.flag==True:#退出子层div了，层数减1
  23. self.verbatim-=1
  25. defstart_p(self,attrs):
  26. ifself.flag==False:
  27. return
  28. self.getdata=True
  30. defend_p(self):#遇到</p>
  31. ifself.getdata:
  32. self.getdata=False
  34. defhandle_data(self,text):#处理文本
  35. ifself.getdata:
  36. self.IDlist.append(text)
  38. defprintID(self):
  39. foriinself.IDlist:
  40. printi
  43. ##importurllib2
  44. ##importdatetime
  45. ##vrg=(datetime.date(2012,2,19)-datetime.date.today()).days
  46. ##strUrl='http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
  47. ##req=urllib2.Request(strUrl)#通过网络获取网页
  48. ##response=urllib2.urlopen(req)
  49. ##the_page=response.read()
  51. the_page='''''<html>
  52. <head>
  53. <title>test</title>
  54. </head>
  55. <body>
  56. <h1>title</h1>
  57. <divclass='entry-content'>
  58. <divclass='ooxx'>我是来捣乱的</div>
  59. <p>感兴趣内容1</p>
  60. <p>感兴趣内容2</p>
  61. ……
  62. <p>感兴趣内容n</p>
  63. <divclass='ooxx'>我是来捣乱的2<divclass='ooxx'>我是来捣乱的3</div></div>
  64. </div>
  65. <divclass='content'>
  66. <p>内容1</p>
  67. <p>内容2</p>
  68. ……
  69. <p>内容n</p>
  70. </div>
  71. </body>
  72. </html>
  73. '''
  74. lister=GetIdList()
  75. lister.feed(the_page)
  76. lister.printID()

执行后 输出为

 

 

[python]view plaincopy
 
  1. 感兴趣内容1
  2. 感兴趣内容2
  3. 感兴趣内容n
分享到：
| PlayFramework入门教程
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    使用python提取html文件中的特定数据的实现代码

    例如 具有如下结构的html文件 复制代码 代码如下: ’entry-content’&gt; 感兴趣内容1&lt;/p&gt; 感兴趣内容2&lt;/p&gt; …… 感兴趣内容n&lt;/p&gt; &lt;/div&gt; ’content’&gt; 内容1&lt;/p&gt; 内容2&lt;/p&gt; …… 内容n&lt;/p&gt; &lt;/div&gt; 我们尝试获得’感...

    python爬虫项目代码

    数据存储：将抽取的数据存储到本地文件、数据库或其他数据存储系统中，以供后续分析和处理使用。 定时调度：如果需要定期更新数据，可以设置定时任务或使用调度框架，定期运行爬虫程序，以保持数据的最新状态。 ...

    爬取图像python实现案例

    存储数据：将处理后的数据保存到数据库、文件或其他存储介质中，供后续使用。 循环操作：根据需求，爬虫往往需要在多个页面之间跳转，或者遍历多个链接进行数据抓取。 爬虫的实现通常使用编程语言来编写。Python

    python项目开发实战入门 (实用性极强，方向全，最新)

    数据存储：将抽取的数据存储到本地文件、数据库或其他数据存储系统中，以供后续分析和处理使用。 定时调度：如果需要定期更新数据，可以设置定时任务或使用调度框架，定期运行爬虫程序，以保持数据的最新状态。 ...

    安居客出租房（武汉为例）爬虫+数据分析+可视化

    但是作为我写爬虫以来注释最详细的一次，以及第一次真正使用像matplotlib这种数据分析库的代码，我认为还是有必要分享出来给大家当个参考的（PS：大佬轻拍~）。爬虫本身几乎没有什么难度，写的也比较乱，敬请见谅。 ...

    课件-Python项目案例开发从入门到实战-爬虫、游戏和机器学习

    网页内容爬取：爬取特定网站的新闻、博客文章、商品信息等内容，并保存到本地文件或数据库中。 图片下载器：从指定网站或图片分享平台上爬取图片，并保存到本地目录中。 数据采集与分析：从多个网站上爬取数据，并...

    基于python实现的tt(国外社交网站)的爬虫

    基于python实现的tt(国外社交网站)的爬虫 ...数据存储和分析： 爬虫可以将抓取到的数据保存到数据库或文件中，供后续的数据分析和使用。 如果你需要的资源找不到，可以告诉我，我来帮你找！&lt;/strong&gt;

    基于Java和Python的爬虫项目实战源码.zip

    对URL进行过滤，只提取符合特定格式的链接； 提取网页内容； HTMLParser： 文本抽取； 链接抽取； 资源抽取； 链接检查； 站点检查； URL重写； 广告清除； 将HTML页面转化成XML页面； HTML页面清理； Rhino是一个由...

    爬虫Demo举例python.rar

    3. 页面解析器（Page Parser）：负责解析网页的HTML代码或其他特定结构的内容，并提取出感兴趣的数据，如文本、图片、链接等。 4. 数据存储器（Data Storage）：负责将爬取到的数据保存在本地文件系统或数据库中，...

    使用爬虫技术做的针对特定论坛美化的“浏览器”APP.zip

    数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫...

    数据科学基础大作业.zip

    数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫...

    table2csv:从HTML表中提取数据并将结果存储到csv文件中

    U table2csv用法table2csv http://en.wikipedia.org/wiki/List_of_Super_Bowl_champions &gt; dump.txtpython -m table2csv.main http://en.wikipedia.org/wiki/List_of_Super_Bowl_champions &gt; dump.txt 使用--nth = ...

    bing-scraper:bingscraper是python3软件包，可在搜索引擎“ bing.com”上提取文本和图像内容

    必应刮板机bingscraper是python3软件包，用于提取搜索引擎bing.com上的文本和图像内容。 它以某种方式帮助用户，他/她将仅为他们的搜索查询获得有意义的结果和图像。 它不会下载广告内容，因此不会为用户保存数据。 ...

    Python 框架、库、软件和资源，源代码

    管理面板 ...特定格式处理 静态站点生成器 标记 任务队列 模板引擎 测试 文本处理 第三方 API URL 操作 视频 网络资产管理 Web 内容提取 网络爬虫 Web 框架 网络套接字 WSGI 服务器 资源 通讯 播客

    TestDuBoKu.py

    Python爬虫爬取电影网站--独播库，原代码 爬虫的主要流程 构造url 爬虫要爬的数据，绝不仅仅是一个网页那么简单，有时候我们需要爬的...保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

    python爬虫学习笔记之Beautifulsoup模块用法详解

    本文实例讲述了python爬虫学习笔记之... 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.（官方） beautifulsoup是一个解析器，可以特定的解析

    job-scrappy：一个Python脚本，用于自动从特定作业站点进行剪贴

    job_scrappy-从特定工作页面提取事实的脚本 好的，这样做的原因是，我厌倦了从工作网页上复制粘贴内容，并且我希望有一台机器为我做。 功能集实施 命令行界面允许： 取得一个网址以及要保存到的文件。 取得一个带...

    schemaorg:适用于schema.org的python函数

    schemaorg Python 该模块将为研究人员和用户提供功能，以将schema.org定义应用于其数据集，软件和其他世界事物。 有关使用Python的开发功能以及... 由于特定Webby场所的特定需求可能会随着我们提取的数据类型的变化

Magicbox
Global site tag (gtag.js) - Google Analytics