package com.xiaofeng.picup;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/** *//**
*
* @author 晓峰2007.1.18 抓取雅虎知识堂的文章标题及内容(测试) 手动输入网址抓取,可进一步自动抓取整个知识堂的全部内容
*
*/
public class WebContent ...{
/** *//**
* 读取一个网页全部内容
*/
public String getOneHtml(String htmlurl) throws IOException...{
URL url;
String temp;
StringBuffer sb = new StringBuffer();
try ...{
url = new URL(htmlurl);
BufferedReader in = new BufferedReader(new InputStreamReader(url
.openStream(), "utf-8"));// 读取网页全部内容
while ((temp = in.readLine()) != null) ...{
sb.append(temp);
}
in.close();
}catch(MalformedURLException me)...{
System.out.println("你输入的URL格式有问题!请仔细输入");
me.getMessage();
throw me;
}catch (IOException e) ...{
e.printStackTrace();
throw e;
}
return sb.toString();
}
/** *//**
*
* @param s
* @return 获得网页标题
*/
public String getTitle(String s) ...{
String regex;
String title = "";
List<String> list = new ArrayList<String>();
regex = "<title>.*?</title>";
Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
for (int i = 0; i < list.size(); i++) ...{
title = title + list.get(i);
}
return outTag(title);
}
/** *//**
*
* @param s
* @return 获得链接
*/
public List<String> getLink(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<a[^>]*href=("([^"]*)"|'([^']*)'|([^\s>]*))[^>]*>(.*?)</a>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 获得脚本代码
*/
public List<String> getScript(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<script.*?</script>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 获得CSS
*/
public List<String> getCSS(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<style.*?</style>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 去掉标记
*/
public String outTag(String s) ...{
return s.replaceAll("<.*?>", "");
}
/** *//**
*
* @param s
* @return 获取雅虎知识堂文章标题及内容
*/
public HashMap<String, String> getFromYahoo(String s) ...{
HashMap<String, String> hm = new HashMap<String, String>();
StringBuffer sb = new StringBuffer();
String html="";
System.out.println(" ------------------开始读取网页(" + s
+ ")--------------------");
try...{
html= getOneHtml(s);
}catch(Exception e)...{
e.getMessage();
}
// System.out.println(html);
System.out.println("------------------读取网页(" + s
+ ")结束-------------------- ");
System.out.println("------------------分析(" + s
+ ")结果如下-------------------- ");
String title = outTag(getTitle(html));
title = title.replaceAll("_雅虎知识堂", "");
// Pattern pa=Pattern.compile("<div
// class="original">(.*?)(( )*)(.*?)(( )*)(.*?)</div>",Pattern.DOTALL);
Pattern pa = Pattern.compile("<div class="original">(.*?)</p></div>",
Pattern.DOTALL);
Matcher ma = pa.matcher(html);
while (ma.find()) ...{
sb.append(ma.group());
}
String temp = sb.toString();
temp = temp.replaceAll("(<br>)+?", " ");// 转化换行
temp = temp.replaceAll("<p><em>.*?</em></p>", "");// 去图片注释
hm.put("title", title);
hm.put("original", outTag(temp));
return hm;
}
/** *//**
*
* @param args
* 测试一组网页,针对雅虎知识堂
*/
public static void main(String args[]) ...{
String url="";
List<String> list = new ArrayList<String>();
System.out.print("输入URL,一行一个,输入结束后输入 go 程序开始运行: ");
/**//*
http://ks.cn.yahoo.com/question/1307121201133.html
http://ks.cn.yahoo.com/question/1307121101907.html
http://ks.cn.yahoo.com/question/1307121101907_2.html
http://ks.cn.yahoo.com/question/1307121101907_3.html
http://ks.cn.yahoo.com/question/1307121101907_4.html
http://ks.cn.yahoo.com/question/1307121101907_5.html
http://ks.cn.yahoo.com/question/1307121101907_6.html
http://ks.cn.yahoo.com/question/1307121101907_7.html
http://ks.cn.yahoo.com/question/1307121101907_8.html
*/
BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
try ...{
while(!(url=br.readLine()).equals("go"))...{
list.add(url);
}
} catch (Exception e) ...{
e.getMessage();
}
WebContent wc = new WebContent();
HashMap<String, String> hm = new HashMap<String, String>();
for (int i = 0; i < list.size(); i++) ...{
hm = wc.getFromYahoo(list.get(i));
System.out.println("标题: " + hm.get("title"));
System.out.println("内容: " + hm.get("original"));
}
/**//*
String htmlurl[] = {
"http://ks.cn.yahoo.com/question/1307121201133.html",
"http://ks.cn.yahoo.com/question/1307121101907.html",
"http://ks.cn.yahoo.com/question/1307121101907_2.html",
"http://ks.cn.yahoo.com/question/1307121101907_3.html",
"http://ks.cn.yahoo.com/question/1307121101907_4.html",
"http://ks.cn.yahoo.com/question/1307121101907_5.html",
"http://ks.cn.yahoo.com/question/1307121101907_6.html",
"http://ks.cn.yahoo.com/question/1307121101907_7.html",
"http://ks.cn.yahoo.com/question/1307121101907_8.html" };
WebContent wc = new WebContent();
HashMap<String, String> hm = new HashMap<String, String>();
for (int i = 0; i < htmlurl.length; i++) {
hm = wc.getFromYahoo(htmlurl[i]);
System.out.println("标题: " + hm.get("title"));
System.out.println("内容: " + hm.get("original"));
}
*/
/**//*
* String html=""; String link=""; String sscript=""; String content="";
* System.out.println(htmlurl+" 开始读取网页内容:");
* html=wc.getOneHtml(htmlurl); System.out.println(htmlurl+"
* 读取完毕开始分析……"); html=html.replaceAll("(<script.*?)(( )*)(.*?)(( )*)(.*?)(</script>)","
* ");//去除脚本 html=html.replaceAll("(<style.*?)(( )*)(.*?)(( )*)(.*?)(</style>)","
* ");//去掉CSS html=html.replaceAll("<title>.*?</title>"," ");//除去页面标题
* html=html.replaceAll("<a[^>]*href=("([^"]*)"|'([^']*)'|([^\s>]*))[^>]*>(.*?)</a>","
* ");//去掉链接 html=html.replaceAll("(\s){2,}?"," ");//除去多余空格
* html=wc.outTag(html);//多余标记 System.out.println(html);
*/
/**//*
* String s[]=html.split(" +"); for(int i=0;i<s.length;i++){
* content=(content.length()>s[i].length())?content:s[i]; }
* System.out.println(content);
*/
// System.out.println(htmlurl+"网页内容结束");
/**//*
* System.out.println(htmlurl+"网页脚本开始:"); List
* script=wc.getScript(html); for(int i=0;i<script.size();i++){
* System.out.println(script.get(i)); }
* System.out.println(htmlurl+"网页脚本结束:");
*
* System.out.println(htmlurl+"CSS开始:"); List css=wc.getCSS(html);
* for(int i=0;i<css.size();i++){ System.out.println(css.get(i)); }
* System.out.println(htmlurl+"CSS结束:");
*
* System.out.println(htmlurl+"全部链接内容开始:"); List list=wc.getLink(html);
* for(int i=0;i<list.size();i++){ link=list.get(i).toString(); }
* System.out.println(htmlurl+"全部链接内容结束:");
*
* System.out.println("内容"); System.out.println(wc.outTag(html));
*/
}
}
分享到:
相关推荐
网络编程网络编程网络编程网络编程
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
【资源说明】 基于树莓派智能小车(H5页面操作移动+实时显示摄像头内容+各类传感器)源码+详细文档+全部资料齐全 高分项目.zip基于树莓派智能小车(H5页面操作移动+实时显示摄像头内容+各类传感器)源码+详细文档+全部资料齐全 高分项目.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
2024-01-03-【办公自动化】Python执行Windows命令
【资源说明】 基于FPGA的FS-FBMC调制器的设计源码+全部资料齐全.zip基于FPGA的FS-FBMC调制器的设计源码+全部资料齐全.zip 【备注】 1、该项目是高分课程设计项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过mac/window10/11/linux测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(如软件工程、计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也可作为课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
黑马MySQL课程总结的学习笔记
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
张祖豪-软件工程师-职业规划.pdf
智慧工地整体解决方案qy.pptx
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
【资源说明】 基于FPGA设计的电梯控制电路系统源码+全部资料齐全.zip基于FPGA设计的电梯控制电路系统源码+全部资料齐全.zip 【备注】 1、该项目是高分课程设计项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过mac/window10/11/linux测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(如软件工程、计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也可作为课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
课程内容: 将成功建立在问题基层上 不做第- 就做唯一 新切割营销 品牌4s战略-构建高效强势品牌 智慧底牌-成功背后的10大思维方式 切割营销将对手通向一侧的营销策略 营销绝对竞争力 品牌突破 切割营销 企业家修炼-第九届学习型中国世纪成功论坛 如何创造七种动力进行整合营销 营销品牌教材 林伟贤董进宇姜岚昕演讲-第八届学习型中国世纪成功论坛 内部报告:处理人生10种关系智慧 高效构建强势品牌 营销纲领(首部谋定未来的营销大典)1~4
酒店客房管理系统为酒店管理者和用户、清洁人员提供一个在线管理酒店客房的系统。在网站的设计中,一共分为了两个模块设计,一个是前台模块,一个是后台模块,前台主要用于提供查看客房信息,酒店资讯,留言反馈,个人中心,在线客服等一系列的功能,后台会根据等于角色的不同分配不同的权限,如果登录的是管理员角色的话,则有管理员个人信息管理,用户管理,客房管理,清洁管理,系统管理等,如果登录的是用户角色的话,则有用户个人信息管理,预约管理,入住管理,收藏管理等,如果登录的是清洁人员角色的话,,则有清洁人员个人信息管理,退房管理,清洁管理等。 整个后台系统的大致功能如图1所示,整个后台系统分为两个部分,一部分为用户端,一部分为管理端,用户端的功能主要是用户来进行房屋预约,房屋入住,房屋收藏,浏览反馈,在线咨询。管理端也分三类角色的管理,管理员角色,用户角色,清洁人员角色,对应的角色不同,相应的对应的管理端也不同。
IDC智能机房整体解决方案.ppt
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
电子元件 电子行业 行业分析 数据分析 数据报告 行业报告
当前文件需要和PasteSpider配套使用, 配套的还有PasteSpiderFile(文件同步管理器), 和PasteSpider的主端(一款类似K8S的容器管理工具)。 当前版本为大版本升级,需要和配套的其他端的版本使用,否则出现访问错误等! 把当前文件解压后,放于服务器上,或者是方入PasteSpider的解压缩里面的wwwroot文件夹下。 个人建议独立存放,因为PasteSpider是需要打包到docker的镜像里面的,存放于宿主服务器上便于修改! 当前版本修改内容主要如下: 1.数据的获取修改为get模式,后续会基于http的method做一些特定的日志记录,大致的思路是get只做简单的校验,post做强校验并记录日志等。 2.定时任务添加任务串的支持,比如需要发布一个项目中的几个服务,他们有执行顺序,只需要把上一个任务的ID作为当前任务的父级ID即可, 3.静态服务(一般是web静态端不需要构建的),支持暂存模式,配合定时发布使用! 更多PasteSpider资料访问 https://blog.csdn.net/apeart/category_12291787.html
Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。