- 浏览: 61016 次
- 来自: 北京
最新评论
-
caowei3047:
确实强悍。
不过jquery的那个仿igoogle组件似乎也不 ...
仿igoogle拖动框 -
zhangyuqing052:
没用的,还会过期!
何让Struts From提交后“后退”页面不过期 -
skorpi:
跟我现在一样,一点动力都没有,都想回家种地了,对技术也不是那么 ...
迷茫,2年工作经验的小兵的迷茫 -
jason.hsu:
..这样作不行..甚至还少一个.mymetadata文件..
怎么将java工程修改为myeclipse识别的web工程 -
dean_liu:
Seam Requirements 写道
Seam 2.x e ...
与我一起学seam(1)
- import java.io.BufferedReader;
- import java.io.IOException;
- import java.io.InputStreamReader;
- import java.net.MalformedURLException;
- import java.net.URL;
- import java.util.ArrayList;
- import java.util.HashMap;
- import java.util.List;
- import java.util.regex.Matcher;
- import java.util.regex.Pattern;
- public class WebContent
- {
- /**
- * 读取一个网页全部内容
- */
- public String getOneHtml(final String htmlurl) throws IOException
- {
- URL url;
- String temp;
- final StringBuffer sb = new StringBuffer();
- try
- {
- url = new URL(htmlurl);
- final BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), "utf-8"));// 读取网页全部内容
- while ((temp = in.readLine()) != null)
- {
- sb.append(temp);
- }
- in.close();
- }
- catch (final MalformedURLException me)
- {
- System.out.println("你输入的URL格式有问题!请仔细输入");
- me.getMessage();
- throw me;
- }
- catch (final IOException e)
- {
- e.printStackTrace();
- throw e;
- }
- return sb.toString();
- }
- /**
- *
- * @param s
- * @return 获得网页标题
- */
- public String getTitle(final String s)
- {
- String regex;
- String title = "";
- final List<String> list = new ArrayList<String>();
- regex = "<title>.*?</title>";
- final Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- for (int i = 0; i < list.size(); i++)
- {
- title = title + list.get(i);
- }
- return outTag(title);
- }
- /**
- *
- * @param s
- * @return 获得链接
- */
- public List<String> getLink(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 获得脚本代码
- */
- public List<String> getScript(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<script.*?</script>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 获得CSS
- */
- public List<String> getCSS(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<style.*?</style>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 去掉标记
- */
- public String outTag(final String s)
- {
- return s.replaceAll("<.*?>", "");
- }
- /**
- *
- * @param s
- * @return 获取雅虎知识堂文章标题及内容
- */
- public HashMap<String, String> getFromYahoo(final String s)
- {
- final HashMap<String, String> hm = new HashMap<String, String>();
- final StringBuffer sb = new StringBuffer();
- String html = "";
- System.out.println("\n------------------开始读取网页(" + s + ")--------------------");
- try
- {
- html = getOneHtml(s);
- }
- catch (final Exception e)
- {
- e.getMessage();
- }
- // System.out.println(html);
- System.out.println("------------------读取网页(" + s + ")结束--------------------\n");
- System.out.println("------------------分析(" + s + ")结果如下--------------------\n");
- String title = outTag(getTitle(html));
- title = title.replaceAll("_雅虎知识堂", "");
- // Pattern pa=Pattern.compile("<div
- // class=\"original\">(.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)</div>",Pattern.DOTALL);
- final Pattern pa = Pattern.compile("<div class=\"original\">(.*?)</p></div>", Pattern.DOTALL);
- final Matcher ma = pa.matcher(html);
- while (ma.find())
- {
- sb.append(ma.group());
- }
- String temp = sb.toString();
- temp = temp.replaceAll("(<br>)+?", "\n");// 转化换行
- temp = temp.replaceAll("<p><em>.*?</em></p>", "");// 去图片注释
- hm.put("title", title);
- hm.put("original", outTag(temp));
- return hm;
- }
- /**
- *
- * @param args
- * 测试一组网页,针对雅虎知识堂
- */
- public static void main(final String args[])
- {
- String url = "";
- final List<String> list = new ArrayList<String>();
- System.out.print("输入URL,一行一个,输入结束后输入 go 程序开始运行: \n");
- /*
- * http://ks.cn.yahoo.com/question/1307121201133.html
- * http://ks.cn.yahoo.com/question/1307121101907.html
- * http://ks.cn.yahoo.com/question/1307121101907_2.html
- * http://ks.cn.yahoo.com/question/1307121101907_3.html
- * http://ks.cn.yahoo.com/question/1307121101907_4.html
- * http://ks.cn.yahoo.com/question/1307121101907_5.html
- * http://ks.cn.yahoo.com/question/1307121101907_6.html
- * http://ks.cn.yahoo.com/question/1307121101907_7.html
- * http://ks.cn.yahoo.com/question/1307121101907_8.html
- */
- final BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
- try
- {
- while (!(url = br.readLine()).equals("go"))
- {
- list.add(url);
- }
- }
- catch (final Exception e)
- {
- e.getMessage();
- }
- final WebContent wc = new WebContent();
- HashMap<String, String> hm = new HashMap<String, String>();
- for (int i = 0; i < list.size(); i++)
- {
- hm = wc.getFromYahoo(list.get(i));
- System.out.println("标题: " + hm.get("title"));
- System.out.println("内容: \n" + hm.get("original"));
- }
- /*
- * String htmlurl[] = {
- * "http://ks.cn.yahoo.com/question/1307121201133.html",
- * "http://ks.cn.yahoo.com/question/1307121101907.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_2.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_3.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_4.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_5.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_6.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_7.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_8.html" }; WebContent
- * wc = new WebContent(); HashMap<String, String> hm = new HashMap<String,
- * String>(); for (int i = 0; i < htmlurl.length; i++) { hm =
- * wc.getFromYahoo(htmlurl[i]); System.out.println("标题: " +
- * hm.get("title")); System.out.println("内容: \n" + hm.get("original")); }
- */
- /*
- * String html=""; String link=""; String sscript=""; String content="";
- * System.out.println(htmlurl+" 开始读取网页内容:");
- * html=wc.getOneHtml(htmlurl); System.out.println(htmlurl+"
- * 读取完毕开始分析……"); html=html.replaceAll("(<script.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</script>)","
- * ");//去除脚本 html=html.replaceAll("(<style.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</style>)","
- * ");//去掉CSS html=html.replaceAll("<title>.*?</title>"," ");//除去页面标题
- * html=html.replaceAll("<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>","
- * ");//去掉链接 html=html.replaceAll("(\\s){2,}?"," ");//除去多余空格
- * html=wc.outTag(html);//多余标记 System.out.println(html);
- */
- /*
- * String s[]=html.split(" +"); for(int i=0;i<s.length;i++){
- * content=(content.length()>s[i].length())?content:s[i]; }
- * System.out.println(content);
- */
- // System.out.println(htmlurl+"网页内容结束");
- /*
- * System.out.println(htmlurl+"网页脚本开始:"); List
- * script=wc.getScript(html); for(int i=0;i<script.size();i++){
- * System.out.println(script.get(i)); }
- * System.out.println(htmlurl+"网页脚本结束:");
- *
- * System.out.println(htmlurl+"CSS开始:"); List css=wc.getCSS(html);
- * for(int i=0;i<css.size();i++){ System.out.println(css.get(i)); }
- * System.out.println(htmlurl+"CSS结束:");
- *
- * System.out.println(htmlurl+"全部链接内容开始:"); List list=wc.getLink(html);
- * for(int i=0;i<list.size();i++){ link=list.get(i).toString(); }
- * System.out.println(htmlurl+"全部链接内容结束:");
- *
- * System.out.println("内容"); System.out.println(wc.outTag(html));
- */
- }
- }
发表评论
-
帝国cms 灵动标签高级提升
2011-09-20 16:13 2426灵动标签调友情连接分类调用方法。 用以下标签就可以实现了![ ... -
帝国cms 灵动标签 循环嵌套
2011-09-20 16:07 5116<div id="menu" ... -
svn数据回滚.
2011-08-09 18:53 3525这里讲一下svn中文件删除了(前提,不是从服务器端删除的,只 ... -
svn 不同版本数据合并
2011-08-09 18:27 3934搞java开发的人员基本都用过svn,但是常用的基本功能也就 ... -
Eclipse编码格式修改(转)
2011-07-04 18:17 1236eclipse plugin 由gbk转为utf8后出现各 ... -
spring BeanWrapperImpl方便的嵌套属性(list)操作
2010-01-21 09:59 4487转载自: http://blog.csdn.net/zyl62 ... -
仿igoogle拖动框
2009-11-10 14:37 1142如题 -
eclipse设置 默认工程文件都是utf8
2009-11-10 12:43 740如题。 -
在web和j2se中两个不同环境下 读取配置文件 备忘
2009-11-10 12:32 665如题。 见附件 -
acegi开发 实例
2009-10-20 09:31 745转自:http://zhanjia.iteye.com/blo ... -
hibernate 查询 QBC
2009-03-24 16:07 785Hibernate QBC查询 ... -
ibatise例子
2009-02-12 17:02 652dd -
怎么将java工程修改为myeclipse识别的web工程
2009-01-09 15:11 4985摘抄自:百度知道。 修改工程目录下的.projec ... -
主题:关于网络信息安全的对谈录
2008-12-26 15:10 691摘自: http://www.iteye.com/ ... -
java 调用dll
2008-12-26 12:44 803java 调用dll 备忘。
相关推荐
web基础蜘蛛网页文章采集器,英文名称Fast_Spider,属于蜘蛛爬虫类程序,用于从指定网站采集海量精华文章,将直接丢弃其中的垃圾网页信息,仅保存具备阅读价值和浏览价值的精华文章,自动执行HTM-TXT转换。...
土壤重金属分析采样器 土壤重金属分析采样器
采集器源码 运行源码,CollItem.aspx 进入 一、添加采集项目,设置以后保存。 二、添加好采集项目后,进行 列表设置: 列表页面地址 列表开始标记 列表结束标记 三、采集测试 数据库在App_Data文件夹中...
一款运行在web服务器上的采集器:蓝天采集器部署在web服务器上的采集器 相比市面上的火车头等桌面端采集器,可以大大降低上手成本,而且更加简便,最重要的是完全开源 明天给大家出一个写采集规则的教程(目前b站...
疯子页面采集器是一款网页抓取工具,是用于网站信息采集,网站信息抓取,包括图片、文字等信息采集处理发布,是目前使用人数最多的互联网数据采集程序,可以采集大部分未加密页面站点 采集器教程 ...
关关采集器V5.5稳定版 20120901 1、采集和生成速度更快更稳定! 2、支持乱序采集模式 3、替换采集模式+图片行间水印+图片FTP负载+文字图片化等等 4、支持图片采集(6.0版本采集图片无法入库) 5、...
简易水位报警器-简易水位采集器操作规范书
疯子页面采集器教程
Python开发的定时网站采集器,采用正则捕获,内容存放在SQLite数据库中
水淼万能文章采集器V2.18.3.0(破解版),站长必备的采集工具。
自动回贴采集,登录采集,购买附件采集,站群管理,词表管理,SEO分析,站长查询,内置采集规则,智能识别网站,免写采集规则,可视化采集规则编辑论坛/CMS/博客采集器,抢沙发,群发帖子,群发短消息,邮件群发等众多推广功能...
采用外差原理设计并实现频谱分析仪:利用DDS芯片生成10KHz步进的本机振荡器,AD835做集成混频器,通过开关电容滤波器取出各个频点(相隔10KHz)的值,再配合放大,检波电路收集采样值,经凌阳单片机SPCE061A处理,...
网站采集器网站采集器网站采集器网站采集器网站采集器
丛林采集器丛林采集器丛林采集器丛林采集器丛林采集器丛林采集器
亚普伪原创采集器是国内第一款完美把原创与采集紧密结合的采集器,在功能和性能上完全超越了同类产品,并创造性用WEB界面作为采集器软件界面,用户可以手工编辑界面任何地方,傻瓜的操作方式,打造新一代采集器。...
可N级页面关联采集,自动整合成一条完整记录。支持网页框架,链接和网页加密等。支持完整采集和增量采集(断点续采)。可自动下载二进制文件,比如图片,软件,mp3等。可采集本地磁盘信息。支持Post数据请求采集方式。 ...
如果一条信息分布在很多不同的页面上,网站万能信息采集器也能自动识别N级页面实现信息采集抓取。软件自带了一个8层网站采集例子 3.任意类型的文件都能下载 如果需要采集图片、Flash、视频等二进制文件,网站万能...