- 浏览: 1572354 次
- 来自: 上海
文章分类
- 全部博客 (374)
- Java (101)
- Struts (54)
- Oracle (30)
- JavaScript (16)
- Spring (27)
- Hibernate (16)
- MyEclipse (3)
- JSF (1)
- FreeMarker (2)
- SiteMesh (2)
- JfreeChart (2)
- Ibatis (2)
- JSP (12)
- MyBatis (4)
- SWFupload (1)
- EJB (4)
- Jboss (4)
- WebService (2)
- Linux (16)
- Android (2)
- XML (6)
- Java 网络编程 (13)
- AXIS2 (1)
- FTP (1)
- Jswing (1)
- Socket (3)
- 杂文选集 (6)
- solr (2)
- PS (1)
- Tomcat (7)
- JDBC (9)
- Highcharts (1)
- maven (1)
- Nodejs (0)
- navicat (2)
- Exception (5)
- eclipse (3)
- jQuery (1)
- springMVC (4)
- MySQL (11)
- SVN (1)
- Sql Server (1)
- zookeeper (1)
- JVM (1)
- Groovy (2)
- Git (1)
- Nginx (1)
- DynamicReport (1)
- IDEA (2)
- JasperReports (1)
- Postgresql (2)
- Mac (1)
- gradle (1)
- 数据结构算法 (1)
最新评论
-
hpu145:
引用引用
java 千分位的添加和去除 -
被遗忘的下路:
少了个junit-4.8.2的包
SSH2整合完整案例(四十三) -
白天看黑夜:
java过滤emoji字符处理,希望能帮到你http://ww ...
emoji 表情图片解决方法 -
caipeiming:
这个挺好JavaScript实现input输入框控件只允许输入 ...
js 控制文本框只能输入中文、英文、数字等 -
双子树:
东西太好啦受教啊
Struts2 JSP中将list,set ,Map传递到Action然后<s:iterator>遍历(三十五)
本文介绍
1.利用正则 匹配到网页上的 图片的路径 和标题
2.然后下载
3.然后上传到服务器
1.利用正则 匹配到网页上的 图片的路径 和标题
2.然后下载
3.然后上传到服务器
public class Picture { private String title; private String source; private String upPath; //get set ... }
import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.Calendar; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; import com.sun.xml.internal.fastinfoset.stax.events.Util; public class CatchPicture { /** * @param args */ public static void main(String[] args) { // TODO Auto-generated method stub //定义抓取图片的 正则表达式 String regular="[*]<b>.*?</b><br/><img src=\"(.*?)\" border=0 alt=\'(.*?)\' style=\".*?\" class=\".*?\"> "; List<Picture> list=new CatchPicture().lookWeiboPic("http://gaoxiao.jokeji.cn/GrapHtml/dongtai/20120921221658.htm","GBK",regular,"2,1"); System.out.println(list.size()); } //根据URL查看网站上的图片 public List<Picture> lookWeiboPic(String url,String charset,String regular,String attIndex){ List<Picture> list=new ArrayList<Picture>(); try { //获取填写的url //判断所属网站 获取 正则表达式 //获取图片存放到 list集合 if(!Util.isEmptyString(url)){ String htmls = getPageSource(url.trim(),charset); Pattern pattern =null; pattern = Pattern.compile(regular.trim()); if(!Util.isEmptyString(htmls)){ Matcher matcher = pattern.matcher(htmls); //得到参数属性顺序 String[] sort = regular.trim().split(","); //下标:0 表示 标题title , 1 表示 图片路径 //判断后缀后 得到网站的请求头部 http://www.moonbasa.com/p-032111106.html-->得到 http://www.moonbasa.com String[] suffix; suffix =url.trim().split("cn"); String httphread = ""; if (suffix.length > 1) { httphread = suffix[0] + "cn"; } else { suffix = url.trim().split("com"); httphread = suffix[0] + "com"; } //循环匹配找到的 while(matcher.find()){ Picture picture=new Picture(); //匹配出title if (-1 == Integer.parseInt(sort[0])) { // 页面上抓不到标题 picture.setTitle(""); } else { // 去标题的# String title=matcher.group(Integer.parseInt(sort[0])).replace("#", " "); picture.setTitle(title); } //匹配出source if (-1 == Integer.parseInt(sort[1])) { // 页面上抓不到图片路径 picture.setSource(""); }else{ String webImgUrl=matcher.group(Integer.parseInt(sort[1])); //判断是绝对路径还是相对路径 String[] pathType=webImgUrl.split(":"); if(pathType.length>1){ //绝对路径 picture.setSource(webImgUrl); }else{ //判断相对路径是否含有.. pathType=webImgUrl.split("\\.\\."); if(pathType.length>1){ picture.setSource(httphread+pathType[1]); }else{ if(webImgUrl.startsWith("/")){ picture.setSource(httphread+pathType[0]); }else{ picture.setSource(httphread+"/"+pathType[0]); } } } } String upPath=upload(picture.getSource(),"d:\\image\\"); picture.setUpPath(upPath); list.add(picture); }//--end while } } }catch (Exception e) { e.printStackTrace(); } return list; } /** * 根据网路路径获取 页面源码 * @param pageUrl * @param encoding * @return */ public String getPageSource(String pageUrl,String encoding) { StringBuffer sb = new StringBuffer(); try { //构建一URL对象 URL url = new URL(pageUrl); //使用openStream得到一输入流并由此构造一个BufferedReader对象 BufferedReader in = new BufferedReader(new InputStreamReader(url .openStream(), encoding)); String line; //读取www资源 while ((line = in.readLine()) != null) { sb.append(line); sb.append("\n"); } in.close(); } catch (Exception ex) { System.err.println(ex); } return sb.toString(); } /** * 上传 图片 * @param urlStr * @param path * @return * @throws Exception */ public String upload(String urlStr,String path) throws Exception{ Calendar calendar = Calendar.getInstance(); String month = calendar.get(Calendar.YEAR) + "/" + (calendar.get(Calendar.MONTH) + 1); String filename = java.util.UUID.randomUUID().toString() + getExtension(urlStr); path =path + month + "/"; download(urlStr,path,filename); return path+month + "/" + filename; } /** * 根据路径 下载图片 然后 保存到对应的目录下 * @param urlString * @param filename * @param savePath * @return * @throws Exception */ public void download(String urlString, String filename,String savePath) throws Exception { // 构造URL URL url = new URL(urlString); // 打开连接 URLConnection con = url.openConnection(); //设置请求的路径 con.setConnectTimeout(5*1000); // 输入流 InputStream is = con.getInputStream(); // 1K的数据缓冲 byte[] bs = new byte[1024]; // 读取到的数据长度 int len; // 输出的文件流 File sf=new File(savePath); if(!sf.exists()){ sf.mkdirs(); } OutputStream os = new FileOutputStream(sf.getPath()+"\\"+filename); // 开始读取 while ((len = is.read(bs)) != -1) { os.write(bs, 0, len); } // 完毕,关闭所有链接 os.close(); is.close(); } /** * 根据文件名 获取文件的后缀名 * @param fileUrl * @return */ public String getExtension(String fileUrl){ return fileUrl.substring(fileUrl.lastIndexOf("."), fileUrl.length()); } }
发表评论
-
POST发送XML数据
2013-10-16 14:09 9935package com.itheima.xml; i ... -
发送 GET 和 POST请求
2013-10-05 11:28 3269/** *@param url 发送请求的url ... -
Java 多线程断点续传 (基于HTTP)
2013-03-14 09:42 8828http://wenku.baidu.com/view/57f ... -
Java 多线程断点续传 (基于HTTP)
2013-03-13 23:13 922http://wenku.baidu.com/view/57f ... -
Socket 点对点 通信
2013-03-13 12:54 4332Socket通常称作为 "套接字",用于描 ... -
Socket 点对面 通信
2013-03-13 12:53 1544Socket 点对面 通信 创建多客户连接的socket通信 ... -
Socket 点对点通信
2013-03-12 20:07 897Socket通常称作为 "套接字",用于描 ... -
FTP 上传 下载 登录
2013-03-12 11:20 31921.使用 Serv-U 在本机上创建一个 FTP服务器 h ... -
FTP 登录 下载 上传 文件
2013-03-11 22:43 101.使用 Serv-U 在本机上创建一个 FTP服务器 h ... -
URL 获取网络资源
2013-03-11 09:23 1947URL 获取网络资源 packag ... -
IP地址和域名的获取
2013-03-10 21:44 1413InetAddress 获取 IP地址和域名 packag ... -
java 下载网络上的图片并保存到本地目录
2012-09-22 02:32 57342import java.io.File; import ... -
java 根据URL获取网页源码
2012-09-21 00:20 11243import java.io.BufferedReader ...
相关推荐
Java获取网页中的图片资源,启动线程,智能解析URL,加载图片资源,显示图片数据,测试时候请用IE打开useTrackedImage.html 文件,载入图像文件,并获取该图像文件。本Java例子主要是利用java.awt.MediaTracker 类来...
java爬虫,可以抓取网页中图片信息,适用与爬虫学习者
用来抓取网页上的 图片的超链接 你也可以适当修改 用来抓取其他连接
java爬虫抓取网页内容,下载网站图片。抓取整个网站的图片,获取网页完整内容
java获取网网页中出现的图片及判断网页代码中是否包含有效图片
主要介绍了详解JAVA抓取网页的图片,JAVA利用正则表达式抓取网站图片,非常具有实用价值,需要的朋友可以参考下。
java的封装类,可以从指定网络地址,抓取地址中的网页,并分析抓取图片地址,下载到本地
通过网页url地址生成jpg图片,解决了32、64位运行环境问题
改程序利用htmlParser这个jar包实现了对网页的解析,实现了对网址,网页的标题,网页上的图片,网页的内容的额入库操作。使用mySQL数据库。但是,在网页内容的提取方面还有很多的问题,毕竟各个网页的风格不一样,...
一个html解析器,能够从指定网页中获取图片并保存。
本地图片使用二进制流存储到MySQL中,然后响应前端的传参,查询后可以显示在HEML网页中,相当于图片的简单上传和显示
本程序可用于在线编辑器提交内容时自动从网页中获得src图片地址,然后把远程图片下载到本地服务器,并把原网页中的地址替换成本地的地址。直接放在根目录上运行就行了。
动态抓取网页内容,生成word文件,包含具体demo和所需jar包
java URL转PDF文件,网页内容转PDF文件
没有使用任何框架,纯java se编写的网站图片抓取程序,只真对某个网站的结构,但是代码可以用来学习java net相关知识。
util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...
util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...
请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则...
util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...
-------------------------------------------------------------我们经常要在网页看到一些动态更新的图片,最常见的莫过于股票的K线图,本文试图通过一个简单的实例,向大家展示如何通过JSP 调用Java Bean在网页上动态...