使用NodeVisitor方式访问html结点,代码如下:
package com.javaeye.suo.htmlparser.samples;
import org.htmlparser.Parser;
import org.htmlparser.Remark;
import org.htmlparser.Tag;
import org.htmlparser.Text;
import org.htmlparser.visitors.NodeVisitor;
import com.javaeye.suo.htmlparser.HtmlParserUtils;
public class VisitorDemo extends NodeVisitor{
//记录Remark Node数量
private int remark_node_count;
//记录Text Node数量
private int tag_node_count;
//记录Tag Node数量
private int text_node_count;
public void visitRemarkNode(Remark remark) {
System.out.println("正在访问第 "+(++remark_node_count)+" 个Remark Node ");
}
public void visitStringNode(Text text) {
System.out.println("正在访问第 "+(++tag_node_count)+" 个Text Node ");
}
public void visitTag(Tag tag) {
System.out.println("正在访问第 "+(++text_node_count)+" 个Tag Node ");
}
public static void main(String[] args) {
try{
//方式一:
String urlStr = "http://localhost:8080/HtmlParser/htmlparser.html";
Parser parser = HtmlParserUtils.getParserWithUrlConn(urlStr, "utf-8");
NodeVisitor visitor = new VisitorDemo ();
parser.visitAllNodesWith (visitor);
System.out.println("=========================================");
//方式二(常用):
parser.reset();
NodeVisitor visitor2 = new NodeVisitor() {
public void visitTag(Tag tag) {
System.out.println("正在访问的tag:" + tag.getTagName() + " || Class is :"+ tag.getClass());
}
};
parser.visitAllNodesWith(visitor2);
}catch(Exception e){
e.printStackTrace();
}
}
}
补充
:
一、 Visitor方式访问Html:
1,整体解析过程
- 用一个URL或页面String做一个Parser
- 用这个Parser做一个Visitor
- 使用Parser.visitAllNodeWith(Visitor)来遍历节点
- 获取Visitor遍历后得到的数据
2,Visit过程
- 做解析之前做的事情:visitor.beginParsing();
- 每次取到一个节点Node,让该Node接受accept该Visitor
- 做解析后做的事情:visitor.finishedParsing();
3,获取节点的过程:逐步遍历Html,分析出Node。此部分较为复杂,且对于我们应用来说无需很多了解,暂跳过。
4,节点访问
节点访问采用Visitor模式,Node的accept方法和具体Visitor的visit方法是关键。
首先三类Node来accept的方式各不相同:
- 对于所有TagNode都使用一个accept方法,即TagNode的accept方法。首先判断是否是标签结尾,如果是就visitor.visitEndTag (this);否则visitor.visitTag (this);
- 如果是TextNode,那就visitor.visitStringNode (this);就可以了。
- 如果是RemarkNode,那就visitor.visitRemarkNode (this);就可以了。
实际上NodeVisitor里边这四种visit方法都是空的,因为在不同的Visitor中对于这三类节点的处理是不同的;对于需要处理的节点,只要重载对应的visit方法就行了,如果不处理那就不理会就可以了;另外,如果用户用自己的Visitor,那么还可以灵活的处理不同类型的节点了。
系统为我们实现了下面我要介绍的8种Visitor,实际上可以看作是系统给我们演示了如何做各种各样的Visitor来访问Html,因为实际上我们要真正来用HtmlParser的话,还需要特定的Visitor,而通过简单的这些系统提供的Visitor组合是难以做成什么事情的。
二、系统Visitor功能简介:
- ObjectFindingVisitor:用来找出所有指定类型的节点,采用getTags()来获取结果。
- StringBean:用来从一个指定的URL获取移除了<SCRIPT></SCRIPT>和<PRE></PRE>之间代码的Html代码,也可以用做Visitor,用来移除这两种标签内部的代码,采用StringBean.getStrings()来获取结果。
- HtmlPage:提取Title,body中的节点和页面中的TableTag节点。
- LinkFindingVisitor:找出节点中包含某个链接的总个数。
- StringFindingVisitor:找出遍历的TextNode中含有指定字符串的个数。
- TagFindingVisitor:找出指定Tag的所有节点,可以指定多种类型。
- TextExtractingVisitor:从网页中把所有标签去掉来提取文本,这个提取文本的Visitor有时是很实用的,只是注意在提取文本时将标签的属性也去掉了,也就是说只剩下标签之间的文本,例如<a>中的链接也去掉了。
- UrlModifyingVisitor:用来修改网页中的链接。
分享到:
相关推荐
HtmlParser学习笔记-- htmlparser简介 HtmlParser主要靠Node、AbstractNode和Tag来表达Html,因为Remark和Text相对简单,此处就将其忽略了。
前端开源库-parse5-htmlparser2-tree-adapterparse5-htmlparser2-tree-adapter,parse5的htmlparser2树适配器。
Htmlparser是网页解析的优秀工具,我上传的里面有HTMLParser的API,已经相关的jar包。
HTMLParser-2.0-API.CHM HTMLParser-2.0-API.CHM
public class HtmlLinkParser { //获取子链接,url为网页url,filter是链接过滤器,返回该页面子链接的HashSet public static Set<String> extracLinks(String url, LinkFilter filter) { ...
前端开源库-htmlparser-to-htmlhtmlparser转换为html,将htmlparser/htmlparser2包生成的JSON转换回html。
包含对HtmlParser使用的很多方面,解释的很详细
关于正则表达式和HTMLParser使用的详细说明 希望对大家有用
全面的介绍htmlparser技术的使用,从入门到实战,里面包含了代码示例!
htmlparser-1.2.1jar包下载htmlparser-1.2.1jar包下载
htmlparser能超高速解析html,而且不会出错
HtmlParser-2.0 API ,chm格式,方便使用
node-htmlparser ,node-htmlparser 是一个 JavaScript 的 HTML 文档解析器。 示例代码:...
HTMLParser.net源代码HTMLParser.net使用demo
htmlparser-1.0.5
自制CHM版的API文档,带索引。 注:如果各位下载后打开或无法显示页面,请在CHM文件右键—属性—解除锁定即可。