- 浏览: 63982 次
最新评论
-
waret:
"&" "ctrl+z& ...
2011-12-13 -
waret:
在软件设计的过程中中有一些基本的原则,其中有一条是少用继承,多 ...
2011-11-14 -
waret:
1、序列化是干什么的? 简单说就是为了保存在内存中的各种对象 ...
2011-11-15 -
waret:
吼吼~最小长度为5~
2011-10-22
转自http://www.cnblogs.com/yesun/archive/2008/10/31/1323432.html
请求时加上:getHC.setRequestHeader("Accept-Encoding","gzip, deflate");
解析时
String acceptEncoding = "";
if(getHC.getResponseHeader("Content-Encoding")!=null)
acceptEncoding = getHC.getResponseHeader("Content-Encoding").getValue();
StringBuffer sb =new StringBuffer();
log.debug("acceptEncoding:"+acceptEncoding);
if(acceptEncoding.toLowerCase().indexOf("gzip") > -1)
{
//建立gzip解压工作流
InputStream is = getHC.getResponseBodyAsStream();
GZIPInputStream gzin = new GZIPInputStream(is);
InputStreamReader isr = new InputStreamReader(gzin, charset); // 设置读取流的编码格式,自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
gzin.close();
}
else
{
InputStreamReader isr = new InputStreamReader(getHC.getResponseBodyAsStream(), charset); // 设置读取流的编码格式,自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
}
getHC.abort();
getHC.releaseConnection();
((SimpleHttpConnectionManager)httpClient.getHttpConnectionManager()).shutdown();
请求时加上:getHC.setRequestHeader("Accept-Encoding","gzip, deflate");
解析时
String acceptEncoding = "";
if(getHC.getResponseHeader("Content-Encoding")!=null)
acceptEncoding = getHC.getResponseHeader("Content-Encoding").getValue();
StringBuffer sb =new StringBuffer();
log.debug("acceptEncoding:"+acceptEncoding);
if(acceptEncoding.toLowerCase().indexOf("gzip") > -1)
{
//建立gzip解压工作流
InputStream is = getHC.getResponseBodyAsStream();
GZIPInputStream gzin = new GZIPInputStream(is);
InputStreamReader isr = new InputStreamReader(gzin, charset); // 设置读取流的编码格式,自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
gzin.close();
}
else
{
InputStreamReader isr = new InputStreamReader(getHC.getResponseBodyAsStream(), charset); // 设置读取流的编码格式,自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while((tempbf=br.readLine())!=null){
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
}
getHC.abort();
getHC.releaseConnection();
((SimpleHttpConnectionManager)httpClient.getHttpConnectionManager()).shutdown();
发表评论
-
hadoop集群配置问题及思考
2013-04-07 14:28 672遇到的问题如下: 网上 ... -
Java再学习
2012-09-04 15:20 0面向对象中的对象,像现实生活中的“对象”或“物品”一样,具有一 ... -
近期总结
2012-08-16 21:10 5841.使用ubuntu系统更新源安装软件,有时就不好用的,比如m ... -
C中的printf
2012-07-22 14:34 652C中的printf计算参数时是从右到左压栈的 -
java string 全角半角转换
2012-07-03 16:38 1059/** * 全角空格为12288,半角空格为32 其他字符 ... -
程序员的美德
2012-06-25 16:22 613对数值敏感 实验的欲望 良好的数学功底 -
ubuntu 挂载虚拟机镜像
2012-06-23 14:54 5901.losetup /dev/loop10 /.....img ... -
如何高效的开会
2012-06-21 16:37 651转自知乎http://www.zhihu.com/questi ... -
ubuntu 命令行使用ftp上传文件
2012-06-19 09:08 25471.ftp 主机IP地址 2.输入用户名和密码 3.mput ... -
mysql数据库的导入和导出
2012-06-19 09:07 630导出: mysqldump 用户名 密码 数据库名 > ... -
mysql 数据库不支持中文编码问题
2012-06-18 22:00 1147mysql默认的编码为latin1.在插入中文时会出现乱码。解 ... -
mysql数据库编码修改
2012-06-18 16:31 784在linux下修改3个my.cnf的1个/etc/mysql/ ... -
HTTP cache-control 管理
2012-06-15 22:28 664cache-control设置为no cache,must-r ... -
mysql数据库建库、建表、插入命令
2012-06-15 22:26 1530建库 create database 库名; use 库名; ... -
java中string的函数split需要注意的地方
2012-06-14 09:37 664split在分隔字符串时,如果被分割的字符串是空字符串,即为“ ... -
近期学习整理
2012-06-13 14:37 6291.group by ...having...构建约束查询 2 ... -
LINUX bash中字符串单引号和双引号的区别
2012-06-04 09:59 897单引号中所有字符都被当做普通字符对待,所有环境变量、转义字符、 ... -
建立软链接和硬链接的命令
2012-06-02 09:08 1171软链接:ln -s 目录或文件 连接名 硬链接:ln -d 文 ... -
LINUX帮助手册区号
2012-05-31 15:20 573区号类别1常用命令2系统调用3库调用4特殊文件5文件格式和惯例 ... -
垃圾回收的分类和发展历史
2012-05-29 15:49 643垃圾回收主要有引用计数法、标记清理法、复制法、增量回收法等。垃 ...
相关推荐
HttpClient抓取网页Demo,HttpClient 的入门示例,配合blog文章的附件
java_HttpClient学习,和解析htmljava_HttpClient学习,和解析html java_HttpClient学习,和解析htmljava_HttpClient学习,和解析html java_HttpClient学习,和解析htmljava_HttpClient学习,和解析html java_...
使用httpClient采集数据,jsoup解析页面
HttpClient网页抓取工具包整合,
httpClient和htmlparse获取网页数据使用jar
使用HttpClient获取网页html源代码获取到的源码不解析直接显示,技术比较简单,需要的朋友可以下载研究一下,项目编码GBK默认编译版本2.3.3。
使用httpclient 3.0解析html,实际使用当中遇到的字符集编码乱码问题,主要用于网页的信息采集,此外还列出一部分截取字符串的方法,带源码 httpclient3.0 自己下载jar包
httpClient+jsoup抓取网页数据实例和jar包
利用HttpClient获取数据并用Gson解析Json数据,内容比较简单,适合新手
该Demo主要介绍使用HttpClient获取网络数据,然后经过JSON后显示出来。另外本文章用到了常用的异步加载技术,AsyncTask类。
httpClient完整封装获取网页信息、数据的代码+httpclient.jar
android2.1下 用httpclient拿取sgs.sgamer.com的新闻 用AppWidgetProvider展示 定时刷新 Notification 点击浏览
Android源码之用HttpClient获取网页技术分享
重新封装的HttpClient类 用于网页抓取的朋友们可以留着,还算比较完善!
赠送jar包:httpclient-4.5.5.jar; 赠送原API文档:httpclient-4.5.5-javadoc.jar; 赠送源代码:httpclient-4.5.5-sources.jar; 包含翻译后的API文档:httpclient-4.5.5-javadoc-API文档-中文(简体)版.zip ...
httpclient
HttpClient httpClient = new HttpClient(); // 设置 Http 连接超时为5秒 httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(5000); /* 2 生成 GetMethod 对象并设置参数 */ GetMethod ...
httpclient远程网页抓取工具,可以继承到web项目工程中,很好哟,还等什么?
简单json解析,httpclient免证书校验