`
Foxswily
  • 浏览: 76517 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HtmlUnit 2.6处理页面刷新的bug

阅读更多

HtmlUnit 2.6做了大量针对Javascript的工作,极大的提升了可用性,比如过去想做Form提交,要找到form所有元素,赋值后submit,一旦加了js处理或变更元素就麻烦了,现在可以简单的用focus,click,type之类的方式实现,很惬意。

尝试用来登录论坛,发现某些情况下登录会Exception,具体如下

        //初始页面
        HtmlPage page = client.getPage("http://xxx.com");
        //xxxMap保存要填入的key/value对,key可以是页面id或name
        //getElementByStr结合了ById和ByName方式
        for (Entry<String, String> item : xxxMap.entrySet()) {
            HtmlElement elmt = getElementByStr(page, item.getKey());
            elmt.click(); //触发点击这个文本框的某些js,比如清空
            elmt.type(item.getValue()); //输入值
        }
        //找到提交按钮
        HtmlButton loginBtn = (HtmlButton) getElementByStr(page, submitBtnName);
        //执行点击动作
        Page resultPage = loginBtn.click();
        log.debug(resultPage.getWebResponse().getContentAsString());
 

某些版本的论坛,登录后有自动跳转

<META HTTP-EQUIV="Refresh" CONTENT="3;URL=http://www.some.org/some.html">

 

毛病就出在CONTENT="3;..."这里,某些论坛不使用";"间隔,而是空格,造成HtmlUnit处理错误,存照与此,避免类似的困扰。

 

分享到:
评论

相关推荐

    htmlunit-2.6

    htmlunit-2.6 用于网络爬虫,自动化测试,java包。

    htmlunit-2.6-javadoc.chm

    自制CHM版的API文档,带索引。 注:如果各位下载后打开或无法显示页面,请在CHM文件右键—属性—解除锁定即可。

    htmlunit爬取动态页面jar包

    一共有21个jar包。亲测可用不冲突! 上述的jar包支持爬取动静态界面。

    基于ApacheNutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件nutch-htmlunit.zip

    导致htmlunit无法直接感知到需要等待Kissy发起的请求完成,通过等待页面加载解析内容判断处理实现此类页面数据抓取。 基于页面滚动的AJAX请求页面抓取: 诸如淘宝/天猫的商品详情页面会基于页面滚动发起...

    HttpClient4.1.2 & HtmlUnit2.9 处理文件下载

    NULL 博文链接:https://caerun.iteye.com/blog/1338956

    htmlunit模拟cookie登录

    htmlunit 模拟cookie 存取 cookie值登录 如: wsyyuser.xywy.com Cookie c = new Cookie("wsyyuser.xywy.com", "PHPSESSID", Common.getValue("session_id") );

    htmlUnit所需jar包

    htmlUnit所需工具包,htmlUnit,htmlUnit,htmlUnit,htmlUnit,htmlUnit

    htmlunit下载资源示例

    htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。 项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器。 采用的是Rhinojs引擎。模拟js...

    htmlunit2.12及jsoup1.5.2的jar包

    htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。这个没有界面的浏览器,运行速度也是非常迅速的。 jsoup 是...

    Htmlunit2.23-bin.zip

    htmlunit jar zip 2.23 用于html爬虫

    htmlunit2.8.jar

    htmlunit2.8.jar

    htmlunit-2.1.5源码

    htmlunit-2.1.5的源码,可以提高我们对htmlunit的理解

    htmlunit-2.14

    java 开发 htmlunit官方jar包和api文档

    htmlunit-2.19-bin

    htmlunit-2.19-bin

    htmlunit-2.33-API文档-中英对照版.zip

    赠送jar包:htmlunit-2.33.jar; 赠送原API文档:htmlunit-2.33-javadoc.jar; 赠送源代码:htmlunit-2.33-sources.jar; 赠送Maven依赖信息文件:htmlunit-2.33.pom; 包含翻译后的API文档:htmlunit-2.33-javadoc-...

    htmlunit用到的jar包

    htmlunit用到的jar包htmlunit用到的jar包htmlunit用到的jar包

    htmlunit2.8

    HtmlUnit 是 JUnit 的扩展测试框架之一。HtmlUnit 将返回文档模拟成 HTML,这样您便可以直接处理这些文档了。HtmlUnit 使用例如 table、form 等标识符将测试文档作为 HTML 来处理。它同样需要遵循 JUnit 测试框架...

    htmlunit-2.15.jar

    htmlunit java版无界面浏览器 实现网页自动登录利器 官方最新下载 htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源...

    htmlunit依赖jar包

    htmlunit爬虫工具,Java所需的依赖jar包,凑够50个字符

    htmlunit包

    htmlunit包

Global site tag (gtag.js) - Google Analytics