heritrix，爬虫，绕过登录验证

0 0

heritrix，爬虫，绕过登录验证10

heritrix爬虫的时候，比如公司的项目都是带用户登陆的，heritrix怎么实现绕过去登录那?
目前的想法是:
1.模拟登录，传递cookie的方式。
2.开个后门，在爬的时候不进行验证。

第一种方式需要修改源码，比较费劲。第二种方式需要修改原有的项目，也不太理想。
不知道大侠们有没有好的思路或者实现方式？
问题补充
另外，heritrix1.14版本中的order.xml可以配置登录的信息，貌似不太好使。

Java综合

2013年5月24日 09:03

whoshaofeng
0
0 0 5

目前还没有答案

相关推荐

heritrix爬虫安装部署: 介绍了heritrix爬虫安装和部署，以及运行示例和常见错误

Heritrix爬虫框架完整版: Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑

网络爬虫Heritrix1.14.4可直接用: 在/Heritrix1/src/org/archive/crawler/Heritrix.java启动之后，访问https://localhost:8089登录admin密码admin直接用

Heritrix爬虫处理方案V1.0: 安装部署好的Heritrix爬虫总共有28个jar包（不包括系统jar包）。关于Heritrix的安装配置及使用方法在文档末尾给出网址链接。在Eclipse中安装配置完成后，运行Heritrix.java启动爬虫，在浏览器地址栏中输入：...

Heritrix爬虫源码: Heritrix爬虫源码，包含使用heritrix对太平洋手机网进行爬取

Heritrix 网络爬虫: Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. Heritrix (sometimes spelled heretrix, or misspelled or missaid as heratrix/heritix/ heretix...