为什么要使用HttpClient池?
都知道如果单纯使用HttpClient去抓取一个网站的内容时,会消耗在请求连接上大部分时间。(P:其实大家都明白数据库连接池的重要性,这个吗,也一样,在服务端需要大批量抓取或大并发抓取其他网站数据时,尤其重要)。
不废话了,说一下怎么用吧。
需要下的包:
下面一个代码测试代码,仅供参考。
从测试结果来看,平均每次请求响应都在200毫秒以内。
import java.io.IOException;
import java.util.Random;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.HttpVersion;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.conn.scheme.PlainSocketFactory;
import org.apache.http.conn.scheme.Scheme;
import org.apache.http.conn.scheme.SchemeRegistry;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.conn.tsccm.ThreadSafeClientConnManager;
import org.apache.http.params.BasicHttpParams;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.params.CoreProtocolPNames;
import org.apache.http.params.HttpParams;
public class HttpClientUtils {
private static final Log log = LogFactory.getLog(HttpClientUtils.class);
private static ThreadSafeClientConnManager cm = null;
static {
SchemeRegistry schemeRegistry = new SchemeRegistry();
schemeRegistry.register(new Scheme("http", 80, PlainSocketFactory
.getSocketFactory()));
cm = new ThreadSafeClientConnManager(schemeRegistry);
try {
int maxTotal = 100;
cm.setMaxTotal(maxTotal);
} catch (NumberFormatException e) {
log.error(
"Key[httpclient.max_total] Not Found in systemConfig.properties",
e);
}
// 每条通道的并发连接数设置(连接池)
try {
int defaultMaxConnection = 50;
cm.setDefaultMaxPerRoute(defaultMaxConnection);
} catch (NumberFormatException e) {
log.error(
"Key[httpclient.default_max_connection] Not Found in systemConfig.properties",
e);
}
}
public static HttpClient getHttpClient() {
HttpParams params = new BasicHttpParams();
params.setParameter(CoreProtocolPNames.PROTOCOL_VERSION,
HttpVersion.HTTP_1_1);
params.setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 3000); // 3000ms
return new DefaultHttpClient(cm, params);
}
public static void release() {
if (cm != null) {
cm.shutdown();
}
}
public static void main(String[] args) throws ClientProtocolException,
IOException {
Random r = new Random();
for (int i = 0; i < 10; i++) {
long l1 = System.currentTimeMillis();
HttpClient client = getHttpClient();
HttpGet get = new HttpGet("http://www.baidu.com/s?wd="
+ r.nextInt(5000));
HttpResponse response = client.execute(get);
if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
HttpEntity entity = response.getEntity();
long l = entity.getContentLength();
System.out.println("回应结果长度:" + l);
}
System.out.println("查询耗时" + (System.currentTimeMillis() - l1));
}
}
}
- 大小: 6.4 KB
分享到:
相关推荐
Manticore 注意:虽然我将继续在此处维护库,但我已将规范副本... 它包括对以下内容的支持: 保持连接(和连接池) 透明的gzip和放气处理透明的cookie处理同步和异步执行模型懒惰评估验证代理支持SSL协议用法快速开始如
http连接池官方说明文档
android网络请求框架之OkHttp,一个处理网络请求的开源项目,是安卓端最火热的轻量级框架,用于替代HttpUrlConnection和Apache HttpClient(android API23 6.0里已移除HttpClient,但仍可引入Jar包使用)。 OkHttp是一个...
HttpCommons客户端池连接管理器示例 从引用: 经典阻塞I / O模型的主要缺点之一是,只有在I / O操作中阻塞时,网络套接字才能对... 在整个生命周期中创建一个连接管理器和一个HttpClient连接 创建15个线程以执行15个对
Commons-DBCP 提供数据库连接池服务 DbUtils DbUtils 是一个 JDBC helper 类库,完成数据库任务的简单的资源清除代码. Digester Commons-Digester 是一个 XML-Java对象的映射工具,用于解析 XML配置文件. ...
OkHttp是一款优秀的HTTP框架,它支持get请求和post请求,支持基于Http的文件上传和下载,支持加载图片,支持下载文件透明的GZIP压缩,支持响应缓存避免重复的网络请求,支持使用连接池来降低响应延迟问题 ...
2 连接池减少请求延迟(如果SPDY无效) 3 透明的GZIP(压缩格式)缩小下载大小 4 回应的缓存完全避免网络重复请求 当网络出现问题的时候,OKHTTP会依然有效:它将从常见的连接问题当中恢复。如果你的服务端有多个IP...
2 连接池减少请求延迟(如果SPDY无效) 3 透明的GZIP(压缩格式)缩小下载大小 4 回应的缓存完全避免网络重复请求 当网络出现问题的时候,OKHTTP会依然有效:它将从常见的连接问题当中恢复。如果你的服务端有多个IP...
android上的一个网络接口和图片缓存框架enif详细介绍:底层网络接口采用apache的httpclient连接池框架、图片缓存采用基于LRU的算法等等,需要了解的朋友可以详细参考下
连接池测试,包含高性能HikariCP,提供强大的监控和扩展功能druid MyBatis-demo MyBatis 测试 http-client-demo retrofit-test resume-parse Apache httpclient 测试 selenium-webdriver-test cobertura-demo
2.使用连接池来减少请求延迟(当SPDY不可用的情况下)。 3.无缝的支持GZIP以减少下载量。 4.超高速缓存避免重复的请求。 OKHTTP能够处理很多网络问题:自动修复很多常用的连接问题。如果你的服务拥有多个IP地址,...
maven依赖:org.apache.httpcomponents.httpclient-4.5.9,commons-lang3,commons-collections4,fastjson
就REST客户端而言,存在大量共享代码(例如,连接池管理,序列化,oauth令牌到期等)。 在Jive Software中,我们与几乎所有已知的企业服务集成在一起,这种框架节省了我们很多时间和精力。 我们希望能够共享REST ...
11.commons-dbcp.jar:是一个依赖Jakarta commons-pool对象池机制的数据库连接池,Tomcat的数据源使用的就是DBCP。 12.commons-DbUtils.jar:Apache组织提供的一个资源JDBC工具类库,它是对JDBC的简单封装,对传统操作...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...
它的设计初衷就是为了提高数据库连接池的性能,根据某些测试数据发现,BoneCP是最快的连接池。BoneCP很小,只有四十几K(运行时需要slf4j和guava的支持,这二者加起来就不小了),而相比之下 C3P0 要六百多K。 异步...