`
Goro
  • 浏览: 170792 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

使HttpClient能处理错误ResponseHeader的响应信息。

    博客分类:
  • Java
阅读更多
在特定条件下,也许需要来定制HTTP报文通过线路传递,越过了可能使用的HTTP参数来处理非标准不兼容行为的方式。比如,对于Web爬虫,它可能需要强制HttpClient接受格式错误的响应头部信息,来抢救报文的内容。

自己参考网上写了个类。
package sh.pl;

import java.io.IOException;

import org.apache.http.Header;
import org.apache.http.HttpException;
import org.apache.http.HttpResponse;
import org.apache.http.HttpResponseFactory;
import org.apache.http.HttpVersion;
import org.apache.http.conn.ClientConnectionOperator;
import org.apache.http.conn.OperatedClientConnection;
import org.apache.http.conn.scheme.SchemeRegistry;
import org.apache.http.impl.conn.BasicClientConnectionManager;
import org.apache.http.impl.conn.DefaultClientConnection;
import org.apache.http.impl.conn.DefaultClientConnectionOperator;
import org.apache.http.impl.conn.DefaultHttpResponseParser;
import org.apache.http.io.HttpMessageParser;
import org.apache.http.io.SessionInputBuffer;
import org.apache.http.message.BasicHeader;
import org.apache.http.message.BasicHttpResponse;
import org.apache.http.message.BasicLineParser;
import org.apache.http.message.BasicStatusLine;
import org.apache.http.message.LineParser;
import org.apache.http.params.HttpParams;
import org.apache.http.util.CharArrayBuffer;

public class MyBasicClientConnectionManager extends
		BasicClientConnectionManager {

	public MyBasicClientConnectionManager() {
		super();
	}

	@Override
	protected ClientConnectionOperator createConnectionOperator(
			final SchemeRegistry sr) {
		return new MyClientConnectionOperator(sr);
	}

	class MyLineParser extends BasicLineParser {
		@Override
		public Header parseHeader(final CharArrayBuffer buffer) {
			try {
				return super.parseHeader(buffer);
			} catch (Exception ex) {
				// 压制ParseException异常
				return new BasicHeader("invalid", buffer.toString());
			}
		}
	}

	class MyClientConnection extends DefaultClientConnection {
		@Override
		protected HttpMessageParser createResponseParser(
				final SessionInputBuffer buffer,
				final HttpResponseFactory responseFactory,
				final HttpParams params) {
			return new MyDefaultHttpResponseParser(buffer, new MyLineParser(),
					responseFactory, params);
		}
	}

	class MyDefaultHttpResponseParser extends DefaultHttpResponseParser {
		public MyDefaultHttpResponseParser(SessionInputBuffer buffer,
				LineParser parser, HttpResponseFactory responseFactory,
				HttpParams params) {
			super(buffer, parser, responseFactory, params);
		}

		@Override
		protected HttpResponse parseHead(final SessionInputBuffer sessionBuffer)
				throws IOException, HttpException {
			try {
				return super.parseHead(sessionBuffer);
			} catch (Exception ex) {
				// 压制ParseException异常
				return new BasicHttpResponse(new BasicStatusLine(
						HttpVersion.HTTP_1_1, 200, ""));
			}
		}
	}

	class MyClientConnectionOperator extends DefaultClientConnectionOperator {
		public MyClientConnectionOperator(final SchemeRegistry sr) {
			super(sr);
		}

		@Override
		public OperatedClientConnection createConnection() {
			return new MyClientConnection();
		}
	}
}



使用
ClientConnectionManager cm = new MyBasicClientConnectionManager();
DefaultHttpClient hc = new DefaultHttpClient(cm);
HttpResponse response = hc.execute(http);


分享到:
评论

相关推荐

    java httpClient status 400错误的Header中字符不合法(csdn)————程序.pdf

    java httpClient status 400错误的Header中字符不合法(csdn)————程序

    httpclient用法,发送get和post请求,设置header

    httpclient的用法,发送get请求和post请求,设置header

    httpClient

    import org.apache.commons.httpclient.Header; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.HttpException; import org.apache.commons.httpclient.HttpStatus; ...

    HttpClient 卡死 response 为 null - 帐前卒 - CSDN1

    HttpClient response nullprivate static void close(HttpMethod method) {method.rel

    php实现httpclient类

    hp实现httpclient类示例,需要的朋友可以参考下,buffer 获取返回的字符串,referer 设置 HTTP_REFERER 的网址,response 服务器响应的 header 信息,request 发送到服务器的 header 信息。

    httpclient

    使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。 1. 创建HttpClient对象。 2. 创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建...

    使用HttpClient发送POST请求,并获取响应内容(附详细步骤).txt

    这个代码的作用是使用HttpClient发送POST请求,并获取响应内容。具体来说,它创建了一个HttpClient实例和一个HttpPost对象,设置了请求的URL、请求头和请求体,然后执行请求并获取响应。最后,它将响应内容输出到...

    【ASP.NET编程知识】.Net Core HttpClient处理响应压缩详细.docx

    【ASP.NET编程知识】.Net Core HttpClient处理响应压缩详细.docx

    php实现httpclient类.zip

    主要介绍了php实现httpclient类示例,需要的朋友可以参考下,buffer 获取返回的字符串,referer 设置 HTTP_REFERER 的网址,response 服务器响应的 header 信息,request 发送到服务器的 header 信息。

    彻底解决httpClient乱码问题

    下载这个工具类,然后直接调用createHtmlPage方法就可以了。最关键一点是,网上的方法没有一个解决了乱码问题,费了我不少功夫。

    httpclient httpclient.jar

    httpClient完整封装获取网页信息、数据的代码+httpclient.jar

    php的httpClient类.zip

    分享一个php的httpClient类,buffer 获取返回的字符串,referer 设置 HTTP_REFERER 的网址,response 服务器响应的 header 信息,request 发送到服务器的 header 信息。

    HttpClient以及获取页面内容应用

    使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。 1.创建HttpClient对象。 HttpClient client = new HttpClient(); 2.创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;...

    php的httpClient类

    一个php的httpClient类,buffer 获取返回的字符串,referer 设置 HTTP_REFERER 的网址,response 服务器响应的 header 信息,request 发送到服务器的 header 信息。

    httpClient发送HTTP请求

    解决证书错误,利用httpClient发送https请求,内容格式为XML,另外包中有sha1加密,需要的包,速速下载

    httpclientUtil

    该项目其实有3个工具类: ...前2个工具类支持插件式配置Header、插件式配置httpclient对象,这样就可以方便地自定义header信息、配置ssl、配置proxy等。 第三个虽然支持代理、ssl,但是并没有把代理ssl等进行抽象。

    httpclient4.3 封装工具类

    httpclient4.3的二次封装,解决了代理问题、多线程问题、SSL问题、通用的get、post请求

    httpclient5-fluent-5.0.3.jar

    这是我一个抠图程序发送请求时专用的jar,maven仓库不好下载,我就上传到csdn,以便下次可以继续使用

Global site tag (gtag.js) - Google Analytics