- 浏览: 1255246 次
- 性别:
- 来自: 常州
文章分类
- 全部博客 (499)
- java (101)
- linux (82)
- mysql (30)
- javascript (45)
- Oracle (12)
- ext (14)
- 虚拟机 (1)
- 搜索引擎 (2)
- struts2 (11)
- 设计模式 (9)
- nginx (17)
- tomcat (12)
- 随想 (10)
- spring (18)
- svn (1)
- flash (3)
- UML (1)
- 数据结构 (7)
- 算法 (2)
- 网摘 (9)
- 数据库 (15)
- ibatis (3)
- jquery (31)
- lucene (1)
- hibernate (14)
- Myeclipse (4)
- 线程 (7)
- jbpm (4)
- 重构 (1)
- mantis (3)
- MediaWiki (4)
- ExtMail (1)
- MDaemon (1)
- egit (1)
- dwr (7)
- sitemesh (2)
- mybatis (1)
- ico (1)
- hadoop (5)
- jsoup (1)
- urlrewrite (2)
- jstl (1)
- spring3 (2)
- aop (2)
- 定时器 (1)
- Quartz (2)
- apache (1)
- php (1)
- security (1)
- iptables (2)
- QQ (1)
- mysqldump (1)
- vim (1)
- memcached (4)
- jad (1)
- 微博 (1)
- html5 (1)
- css3 (1)
- httpclient (10)
- google (1)
- shortUrl (1)
- json (2)
- virtualBox (1)
- mantisBT (2)
- htmlunit (1)
- selenium (2)
- mail (1)
- 正则表达式 (4)
- html (3)
- css (2)
- jatoolsPrinter (1)
- 图片处理 (1)
- hql (1)
- webservice (1)
- 分词 (3)
- 短信 (1)
- VPS (1)
- 事务 (1)
- 广告 (1)
- 画廊 (1)
- git (3)
- github (1)
- openshift (1)
- 缓存 (1)
- web (3)
- android (3)
- c3p0 (1)
- 邮箱 (1)
- memcache (2)
- windows (2)
- js (14)
- 编辑器 (1)
- 打印 (1)
- centos (5)
- boneCP (1)
- 连接池 (1)
- sql (1)
- nosql (1)
- MongoDB (1)
- 浏览器 (1)
- node (1)
- node.js (1)
- backbone.js (1)
- lazyload (1)
- Switch Off (1)
- Titanium (1)
- 网站架构 (1)
- WebDriver (1)
- APJP (1)
- 代理 (1)
- comet (1)
- kendoui (1)
- UI (2)
- 互联网 (1)
- localStorage (1)
- 记录 (1)
- 微信 (2)
- Sphinx (1)
- netty (1)
- js,mvvm,Avalon (1)
- 安卓 (1)
- Tengine (1)
- 大数据 (1)
- 手机 (1)
- paypal (1)
- SaaS (1)
- gitlab (1)
- nodejs (1)
- React (1)
- shadowsocks (0)
- vpn (0)
- 验证码 (1)
- SSL (2)
- SEO (1)
- IntelliJ (1)
- 敏捷开发 (1)
- 项目管理 (1)
- 爬虫 (1)
- 正则 (1)
- owncloud (1)
- 云存储 (1)
- ajax (1)
- pjax (1)
- jdk (1)
- zookeeper (1)
- phantomjs (1)
- ELK (1)
- springcloud (1)
- IDEA (1)
- hexo (1)
- ss (1)
- letencrypt (1)
最新评论
-
peakandyuri:
这个是有BUG的,数字小体现不出来,数字大了就不对了,但是Ja ...
java十进制转换N进制并反转换的工具类 -
ginolai:
然后是相关配置:/etc/sysconfig/iptables ...
Linux中iptables设置详细 -
bzhao:
我测试没啥区别啊!
Thread.sleep()和Thread.currentThread().sleep()区别 -
zhl549342097:
match == false
Spring Security 3.1 中功能强大的加密工具 PasswordEncoder -
hellotieye:
renzhengzhi 写道drager 写道用jsoup后解 ...
jsoup select 选择器
//生成HttpMethod的方法就不举例了,网上很多,这里只是写明如何使得Httpclient适用所有编码的网页抓取 /** * 获取页面html内容 * @param method * @param methodType * @return String * @throws UnsupportedEncodingException * @throws IOException */ private static String readInputStream(HttpMethod method) throws Exception{ String charset = "UTF-8"; if(method instanceof PostMethod){ charset = ((PostMethod)method).getResponseCharSet(); }else{ charset = ((GetMethod)method).getResponseCharSet(); } byte[] bytes = method.getResponseBody(); String body = new String(bytes,"UTF-8"); charset = getCharSetByBody(body,charset); return new String(bytes,charset); } /** * 根据页面body获取字符编码 * @param html * @param charset * @return */ private static String getCharSetByBody(String html,String charset){ Document document = parseJSoupDocumentFromHtml(html, Constants.parseBaseUri); Elements elements = document.select("meta"); for(Element metaElement : elements){ if(metaElement!=null && StringUtils.isNotBlank(metaElement.attr("http-equiv")) && metaElement.attr("http-equiv").toLowerCase().equals("content-type")){ String content = metaElement.attr("content"); charset = getCharSet(content); break; } } return charset; } /** * 正则获取字符编码 * @param content * @return */ private static String getCharSet(String content){ String regex = ".*charset=([^;]*).*"; Pattern pattern = Pattern.compile(regex); Matcher matcher = pattern.matcher(content); if(matcher.find()) return matcher.group(1); else return null; }
发表评论
-
模拟浏览器js,有接口可用于爬虫
2018-01-30 18:14 1522http://phantomjs.org/ -
抓取Js动态生成数据且以滚动页面方式分页的网页
2015-11-08 23:21 1618当我们在进行数据抓取的时候,如果目标网站是以Js的方式动态 ... -
HttpClient优化相关
2014-09-17 15:21 10404首先,HttpClient可以共用,减少创建HttpClie ... -
httpclient工具类【转】
2013-11-16 11:46 2073package com.xyj.com.tool.util; ... -
HttpClient如何 关闭连接(转)
2013-10-10 10:19 1443Java代码 HttpClient clien ... -
Httpclient Cookies 处理
2013-10-08 15:56 3115HttpClient Cookies 简介 Htt ... -
httpclient代理[转]
2012-12-29 11:17 1009httpclient4.x配置带用户名和密码的代理 h ... -
java模拟浏览器包htmlunit,selenium
2012-05-27 16:49 6091发现一个很不错的模拟浏览器包htmlunit,它可以直接 ... -
httpclient发送Json格式数据举例之google短网址
2012-03-30 14:06 4863public String getGooGlShort ...
相关推荐
通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser,或者使用静态函数来生成一个Parser对象。 ParserFeedback的代码很简单,是针对调试和跟踪分析过程的,一般不需要改变。而使用Lexer???? ...
下载这个工具类,然后直接调用createHtmlPage方法就可以了。最关键一点是,网上的方法没有一个解决了乱码问题,费了我不少功夫。
HttpClient抓取网页Demo,HttpClient 的入门示例,配合blog文章的附件
HttpClient网页抓取工具包整合,
从网络获取数据和图片,用gson解析并用listview展示
httpClient和htmlparse获取网页数据使用jar
httpClient+jsoup抓取网页数据实例和jar包
使用httpclient 3.0解析html,实际使用当中遇到的字符集编码乱码问题,主要用于网页的信息采集,此外还列出一部分截取字符串的方法,带源码 httpclient3.0 自己下载jar包
用httpclient实现的一个自动注册的modo
Java抓取https网页数据,解决peer not authenticated异常。导入eclipse就能运行,带有所用的jar包(commons-httpclient-3.1.jar,commons-logging.jar,httpclient-4.2.5.jar,httpcore-4.2.4.jar)
httpClient完整封装获取网页信息、数据的代码+httpclient.jar
主要介绍了java 中HttpClient传输xml字符串实例详解的相关资料,需要的朋友可以参考下
android HttpClient 获取网络图片 实例
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
httpclient远程网页抓取工具,可以继承到web项目工程中,很好哟,还等什么?
使用HttpClient获取网页html源代码获取到的源码不解析直接显示,技术比较简单,需要的朋友可以下载研究一下,项目编码GBK默认编译版本2.3.3。
httpClient自动接受https请求的所有证书代码,修改相应测试url,主函数运行即可
java httpclient 抓取 数据 和jar 包
通过httpclient post去获取,response返回码是302,返回的code放在header的Location中。 请求的时候client_id,response_type,redirect_uri,state拼接在url后面,account和password放在body表单(x-...
java httpClient status 400错误的Header中字符不合法(csdn)————程序