论坛首页 入门技术论坛

用HttpClient抓取人人网高校数据库(省,高校,院系三级级联)--更新1

浏览 36796 次
该帖已经被评为新手帖
作者 正文
   发表时间:2010-11-29  
icanfly 写道
问个很初级的问题,如果大量使用 HttpClient client = new DefaultHttpClient(); 这种方式性能上有没有问题 ?


这个我没有比较过,我的那个代码里面只有一个实例,我觉得,或许要看看你请求的资源了,如果请求资源的体积比较大的话,估计就会降低性能的吧,因为他要等你请求完成后才会执行后面
0 请登录后投票
   发表时间:2010-11-29  
satikey 写道
faiinlove 写道
唉···一个数据抓取,搞这么多事情出来。何必呢。直接注册一个帐号,然后手动上去填写好院校信息,然后写一个登录的程序,写一个抓取的程序,OK了。
json解析也不需要正则。
天天用firebug,而且基本上看看html代码就ok了,没看到用抓包工具有什么用。



您说的是。我对正则的比较熟悉,json还不熟悉。如果你有好的json解决方案,那大家一起探讨一下吧。也许会下一个更新里面用json解析吧。
至于您说的抓取程序,已经写出一个粗糙的。
至于抓包工具,随意啦。下次我用firebug.
“搞这么多事情出来”只是为了将自己学到的东西综合一下,主要还是练练手,综合运用。
总之谢谢您的关注

楼主不用管这种人,坛子逛久了你就会发现,你写什么他们都会说这个.搞的他们什么都会,其实让他们自己写,结果不一定比你更好.
我就很喜欢楼主这种自己摸索的精神,自己动手,使用自己喜欢的东西,不必盲从.
0 请登录后投票
   发表时间:2010-11-29  
这种提出问题并想办法去解决的思路。。。我很佩服~~

支持楼主!!!
0 请登录后投票
   发表时间:2010-11-29  
解决问题的思路不错,赞
用的方法和技术不是主要的
0 请登录后投票
   发表时间:2010-11-29  
我只纳闷,为什么那么多的“新手”!
难道真的是传说中的,JE上的某些人手J!
0 请登录后投票
   发表时间:2010-11-29  
satikey 写道
faiinlove 写道
唉···一个数据抓取,搞这么多事情出来。何必呢。直接注册一个帐号,然后手动上去填写好院校信息,然后写一个登录的程序,写一个抓取的程序,OK了。
json解析也不需要正则。
天天用firebug,而且基本上看看html代码就ok了,没看到用抓包工具有什么用。



您说的是。我对正则的比较熟悉,json还不熟悉。如果你有好的json解决方案,那大家一起探讨一下吧。也许会下一个更新里面用json解析吧。
至于您说的抓取程序,已经写出一个粗糙的。
至于抓包工具,随意啦。下次我用firebug.
“搞这么多事情出来”只是为了将自己学到的东西综合一下,主要还是练练手,综合运用。
总之谢谢您的关注



可以尝试下,Java中json-lib.jar中的JsonObject
0 请登录后投票
   发表时间:2010-11-29  
先下载下来,看看
0 请登录后投票
   发表时间:2010-11-29  
楼主的研究精神值得敬佩。要是大四学生都这样,西雅图里就全是天朝人了。
分析的过程很精彩。
0 请登录后投票
   发表时间:2010-11-29  
i2534 写道
satikey 写道
faiinlove 写道
唉···一个数据抓取,搞这么多事情出来。何必呢。直接注册一个帐号,然后手动上去填写好院校信息,然后写一个登录的程序,写一个抓取的程序,OK了。
json解析也不需要正则。
天天用firebug,而且基本上看看html代码就ok了,没看到用抓包工具有什么用。



您说的是。我对正则的比较熟悉,json还不熟悉。如果你有好的json解决方案,那大家一起探讨一下吧。也许会下一个更新里面用json解析吧。
至于您说的抓取程序,已经写出一个粗糙的。
至于抓包工具,随意啦。下次我用firebug.
“搞这么多事情出来”只是为了将自己学到的东西综合一下,主要还是练练手,综合运用。
总之谢谢您的关注

楼主不用管这种人,坛子逛久了你就会发现,你写什么他们都会说这个.搞的他们什么都会,其实让他们自己写,结果不一定比你更好.
我就很喜欢楼主这种自己摸索的精神,自己动手,使用自己喜欢的东西,不必盲从.



呵呵,谢谢你的关注。
0 请登录后投票
   发表时间:2010-11-29  
油炸大龙虾 写道
楼主的研究精神值得敬佩。要是大四学生都这样,西雅图里就全是天朝人了。
分析的过程很精彩。



哥 还没大四
谢谢关注
0 请登录后投票
论坛首页 入门技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics