`
lzj0470
  • 浏览: 1250114 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

htmlparser 假死问题

阅读更多

前几天,在用htmlparser分析页面时,遇到一个郁闷的问题,在爬取得时候,htmlparser停住啦,当时没报任何的错误。我以为多等一会它就会报一个异常啦,结果,等了一个上午,还是停在那里不动。实在等不下去啦,直接看它的源代码,原来是获取数据的时候,获取到一半,停在那里,我找不到在哪里修改它的代码,结果是我不用htmlparser进行连接下载数据,而htmlparser单纯是用于分析页面。我链接那部分是用

            url1 = new URL(url);
            URLConnection urlcon = url1.openConnection();
            urlcon.setConnectTimeout(6000);
            urlcon.setReadTimeout(6000);
            urlcon.connect();

设置了连接超时和读取数据超时。

经过这样整,就可以把我的htmlparser假死问题解决掉啦

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics