- 浏览: 485975 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
u014689192:
第二条这个:2.一个事务session,关闭之前调用了comm ...
ActiveMQ的消息重发策略和DLQ处理 -
MCLoginandPwd:
分享一款代码生成器,拖拽式组件结合流式处理,很容易的访问数据库 ...
spring-data-jpa原理探秘(4)-JpaQueryExecution类概述 -
shuzheng5201314:
...
spring-boot读取props和yml配置文件 -
li17230:
给静态变量设置Setter方法,在Setter方法上加注入操作 ...
Spring不支持依赖注入static静态变量 -
sharong:
endual 写道牛~~~~~~~~~~~~~~~~~共同进步 ...
windows系统下安装最新mysql 5.7.13解压版
HttpClient 3.x,4.x都提供http连接池管理器,当使用了请求连接池管理器(比如PoolingHttpClientConnectionManager)后,HttpClient就可以同时执行多个线程的请求了。
hc3.x和4.x的早期版本,提供了PoolingClientConnectionManager,DefaultHttpClient等类来实现http连接池,但这些类在4.3.x版本之后大部分就已经过时,本文使用4.3.x提供的最新的PoolingHttpClientConnectionManager等类进行http连接池的实现.
废话不多说,下面是全部代码:
主要参考文档:
http://free0007.iteye.com/blog/2012308
hc3.x和4.x的早期版本,提供了PoolingClientConnectionManager,DefaultHttpClient等类来实现http连接池,但这些类在4.3.x版本之后大部分就已经过时,本文使用4.3.x提供的最新的PoolingHttpClientConnectionManager等类进行http连接池的实现.
废话不多说,下面是全部代码:
public class PoolTest { private static void config(HttpRequestBase httpRequestBase) { httpRequestBase.setHeader("User-Agent", "Mozilla/5.0"); httpRequestBase.setHeader("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); httpRequestBase.setHeader("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");//"en-US,en;q=0.5"); httpRequestBase.setHeader("Accept-Charset", "ISO-8859-1,utf-8,gbk,gb2312;q=0.7,*;q=0.7"); // 配置请求的超时设置 RequestConfig requestConfig = RequestConfig.custom() .setConnectionRequestTimeout(3000) .setConnectTimeout(3000) .setSocketTimeout(3000) .build(); httpRequestBase.setConfig(requestConfig); } public static void main(String[] args) { ConnectionSocketFactory plainsf = PlainConnectionSocketFactory.getSocketFactory(); LayeredConnectionSocketFactory sslsf = SSLConnectionSocketFactory.getSocketFactory(); Registry<ConnectionSocketFactory> registry = RegistryBuilder.<ConnectionSocketFactory>create() .register("http", plainsf) .register("https", sslsf) .build(); PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager(registry); // 将最大连接数增加到200 cm.setMaxTotal(200); // 将每个路由基础的连接增加到20 cm.setDefaultMaxPerRoute(20); // 将目标主机的最大连接数增加到50 HttpHost localhost = new HttpHost("http://blog.csdn.net/gaolu",80); cm.setMaxPerRoute(new HttpRoute(localhost), 50); //请求重试处理 HttpRequestRetryHandler httpRequestRetryHandler = new HttpRequestRetryHandler() { public boolean retryRequest(IOException exception,int executionCount, HttpContext context) { if (executionCount >= 5) {// 如果已经重试了5次,就放弃 return false; } if (exception instanceof NoHttpResponseException) {// 如果服务器丢掉了连接,那么就重试 return true; } if (exception instanceof SSLHandshakeException) {// 不要重试SSL握手异常 return false; } if (exception instanceof InterruptedIOException) {// 超时 return false; } if (exception instanceof UnknownHostException) {// 目标服务器不可达 return false; } if (exception instanceof ConnectTimeoutException) {// 连接被拒绝 return false; } if (exception instanceof SSLException) {// ssl握手异常 return false; } HttpClientContext clientContext = HttpClientContext.adapt(context); HttpRequest request = clientContext.getRequest(); // 如果请求是幂等的,就再次尝试 if (!(request instanceof HttpEntityEnclosingRequest)) { return true; } return false; } }; CloseableHttpClient httpClient = HttpClients.custom() .setConnectionManager(cm) .setRetryHandler(httpRequestRetryHandler) .build(); // URL列表数组 String[] urisToGet = { "http://blog.csdn.net/gaolu/article/details/48466059", "http://blog.csdn.net/gaolu/article/details/48243103", "http://blog.csdn.net/gaolu/article/details/47656987", "http://blog.csdn.net/gaolu/article/details/47055029", "http://blog.csdn.net/gaolu/article/details/46400883", "http://blog.csdn.net/gaolu/article/details/46359127", "http://blog.csdn.net/gaolu/article/details/46224821", "http://blog.csdn.net/gaolu/article/details/45305769", "http://blog.csdn.net/gaolu/article/details/43701763", "http://blog.csdn.net/gaolu/article/details/43195449", "http://blog.csdn.net/gaolu/article/details/42915521", "http://blog.csdn.net/gaolu/article/details/41802319", "http://blog.csdn.net/gaolu/article/details/41045233", "http://blog.csdn.net/gaolu/article/details/40395425", "http://blog.csdn.net/gaolu/article/details/40047065", "http://blog.csdn.net/gaolu/article/details/39891877", "http://blog.csdn.net/gaolu/article/details/39499073", "http://blog.csdn.net/gaolu/article/details/39314327", "http://blog.csdn.net/gaolu/article/details/38820809", "http://blog.csdn.net/gaolu/article/details/38439375", }; long start = System.currentTimeMillis(); try { int pagecount = urisToGet.length; ExecutorService executors = Executors.newFixedThreadPool(pagecount); CountDownLatch countDownLatch = new CountDownLatch(pagecount); for(int i = 0; i< pagecount;i++){ HttpGet httpget = new HttpGet(urisToGet[i]); config(httpget); //启动线程抓取 executors.execute(new GetRunnable(httpClient,httpget,countDownLatch)); } countDownLatch.await(); executors.shutdown(); } catch (InterruptedException e) { e.printStackTrace(); } finally { System.out.println("线程" + Thread.currentThread().getName() + "," + System.currentTimeMillis() + ", 所有线程已完成,开始进入下一步!"); } long end = System.currentTimeMillis(); System.out.println("consume -> " + (end - start)); } static class GetRunnable implements Runnable { private CountDownLatch countDownLatch; private final CloseableHttpClient httpClient; private final HttpGet httpget; public GetRunnable(CloseableHttpClient httpClient, HttpGet httpget, CountDownLatch countDownLatch){ this.httpClient = httpClient; this.httpget = httpget; this.countDownLatch = countDownLatch; } @Override public void run() { CloseableHttpResponse response = null; try { response = httpClient.execute(httpget,HttpClientContext.create()); HttpEntity entity = response.getEntity(); System.out.println(EntityUtils.toString(entity, "utf-8")) ; EntityUtils.consume(entity); } catch (IOException e) { e.printStackTrace(); } finally { countDownLatch.countDown(); try { if(response != null) response.close(); } catch (IOException e) { e.printStackTrace(); } } } } }
主要参考文档:
http://free0007.iteye.com/blog/2012308
发表评论
-
spring-data-jpa原理探秘(4)-JpaQueryExecution类概述
2017-02-28 13:55 3126spring-data-jpa原理的第四 ... -
spring-data-jpa原理探秘(3)-QueryMethod类
2017-01-19 22:23 2600第三篇,我们来说说JPA规范中的QueryMethod相关类。 ... -
spring-data-jpa原理探秘(2)-RepositoryQuery的用途和分类
2016-12-29 23:33 2445本系列的第二篇文章, ... -
spring-data-jpa原理探秘(1)-运行环境创建及加载Repository接口
2016-11-30 23:30 4614spring-data-jpa的优点很多,比如继承Reposi ... -
两阶段提交
2016-10-31 19:52 1252这篇文章粗略讲一下两 ... -
spring-boot读取props和yml配置文件
2016-09-30 01:19 25949最近微框架spring-boot很火,笔者也跟风学习了一下,废 ... -
ubuntu单机下安装多mysql 5.7.14
2016-08-01 23:38 1812前文已述,因为需要测试mysql的主从配置方案,所以要安装多个 ... -
windows系统下安装最新mysql 5.7.13解压版
2016-07-25 20:19 2483最近因为需要测试mysql的多种主从配置方案,所以要安装多个m ... -
论开源<5>---个人利益受损
2016-06-16 15:35 2260请看本系列最后一篇文 ... -
论开源<4>---开源的商业模式
2016-05-17 12:51 16254.开源的商业模式 人类社会的每次飞跃,都源于知识的普及和传播 ... -
论开源<3>---从公司企业的高度看开源
2016-05-11 11:53 14303.从公司企业的高度来看开源 首先需要承认,从人类发展史上来说 ... -
论开源<2>---开源运动的国家目标
2016-05-04 20:28 1438接下来第二篇,我们从国家层面来审视一下开源运动。 2.开源运 ... -
论开源<1>---软件本身的价值
2016-05-03 18:40 1740笔者从事软件行业已15 ... -
Enum枚举类型比值
2016-02-28 18:07 1220在编码时,两个Enum实例,直接用==就可以比较它们的值了,而 ... -
论架构师的职责
2016-01-31 20:49 1874很久以前(4,5年前)当 ... -
Java IDE中Access restriction错误的修订
2015-12-19 18:31 1489今天在eclipse mars中导入一个外部项目,在编译时出现 ... -
spring 4.x下让http请求返回json串
2015-11-28 11:24 2577当前很多应用已经开始将响应返回为json串,所以基于sprin ... -
从命令行及java程序运行MyBatis Generator 1.3.x自动生成MyBatis 3.x代码
2015-09-15 13:04 6857近期因为项目需要,调 ... -
闭锁CountDownLatch和栅栏CyclicBarrier之异同举例
2015-05-29 08:56 2361CountDownLatch和CyclicBarrier的主要 ... -
svn提交时,邮件通知问题解决的经验谈
2015-01-27 15:31 3522svn可以实现在commit提交 ...
相关推荐
httpclient4.5 所需jar包,直接导入的项目即可,方便省心
使用HttpClient4.5实现https请求忽略SSL证书验证工具类
httpclient 4.5 api文档
HttpClient4.5 CHM 最新版 与Apache官方一致
HttpClient4.5需要的jar包HttpClient4.5需要的jar包HttpClient4.5需要的jar包HttpClient4.5需要的jar包
httpclient4.5 jar包,完全体,亲测可用,有些东西,需要用到的时候怎么都找不到,不需要用的时候却总是在你眼前愰
这是一个关于httpclient4.5访问https网站的例子,可以绕过ssl认证直接访问
httpclient4.5.jar开发架包,包含所需要依赖的架包 。
不会的可以在评论区留言哈,这是我自己做项目用到的。所以绝对可用!同时共享出来给到大家
HttpClient所需jar包 4.5最新版本
由网上博客整理而成的PDF。该PDF是关于HttpClient4.5-API进行部分翻译,我觉得翻译的很不错,就整理下来留存一份。原博客地址:http://blog.csdn.net/u011179993/article/details/47123727 侵删。谢谢。
httpclient-4.5jar包httpclient-4.5jar包httpclient-4.5jar包httpclient-4.5jar包httpclient-4.5jar包
HttpClient4.5源码,包括fluent-hc,httpclient,httpclient-cache,httpclient-osgi,httpclient-win,httpmime
httpclient 4.5的源码,广泛用于java类应用发送http请求,值得学习
使用新的语法后比3.*版本的速度感觉有提升。使用后注意资源的释放 pom 部分,应该不全,需要用的根据代码的import去找maven资源即可。 <groupId>org.apache.httpcomponents <artifactId>httpclient <version>...
httpclient4.5完整jar包: commons-codec-1.9.jar commons-logging-1.2.jar httpclient-4.5.12.jar httpcore-4.4.13.jar 等等
httpclient-4.5所需jar包,里面包含httpclient-4.5.jar等等10个必须的开发包。 1.commons-codec-1.9.jar 2.commons-logging-1.2.jar 3.fluent-hc-4.5.jar 4.httpclient-4.5.jar 5.httpclient-cache-4.5.jar 6....
httpclient4.5 源码包,及测试用例。可用户学习使用。
HttpAsyncClient连接池的使用,项目中频繁发送http请求,同步http阻塞主线程,影响性能,使用 HttpAsyncClient可使性能提高,这里配合连接池使用,效果更好,同时还附带同步httpClient的连接池使用