-
Java抓取网页内容100
Java抓取网页内容
现有一国外网站，需要从里面抓取必要的信息。
该网页的结构才有大量的Js生成的，每一次请求都包含大量的参数以及cookie、session信息
采用比较常见的方法，如HttpClient 来模拟cookie总是得不到其请求后响应的正确内容。
有这方面成功经验的 请麻烦帮忙下
问题补充：你好麻烦你帮忙分析下这个网站
http://www.288-563.com/en/?affiliate=365_031965
进去后点击左侧的"Soccer" 数据会更新显示在中间栏
我就想得到中间栏生成的内容
麻烦帮我试试 想想 谢谢
wangqj 写道这个我做过，用任何一个可以得到cookie的工具都可以的
很简单，你得不到正确的，说明你得到的cookie不对
用Firebug，获取cookie相当简单
ps：js生成页面结构没关系啊，你只要生成后的结构
用htmlparser，很容易分析页面结构
问题补充：哦 不好意思
进去后 要再点击下中间那个大图片(有显示SPORTS)
麻烦 帮忙分析下wangqj 写道进去左侧没有Soccer啊
地址发错了吧
问题补充：试试看啊
我试过你说的方法了的
wangqj 写道http://www.288-563.com/home/
我这没安firebug，应该不难抓，估计中间你点击soccer的时候执行了一个js函数
你用工具可以看到执行的哪个函数，中间带了什么参数，直接拼接成个url就ok了
2011年1月18日 17:51
添加评论
关注(0)5个答案 按时间排序 按投票排序
-
http://www.288-563.com/home/
我这没安firebug，应该不难抓，估计中间你点击soccer的时候执行了一个js函数
你用工具可以看到执行的哪个函数，中间带了什么参数，直接拼接成个url就ok了2011年1月19日 14:36
-
这个我做过，用任何一个可以得到cookie的工具都可以的
很简单，你得不到正确的，说明你得到的cookie不对
用Firebug，获取cookie相当简单
ps：js生成页面结构没关系啊，你只要生成后的结构
用htmlparser，很容易分析页面结构2011年1月19日 10:22
-
Google Chrome也不赖！先用浏览器登录，然后在Chrome浏览器中查看该网站的Cookie，Copy到程序中，在请求头中set cookie试试
2011年1月19日 08:53
相关推荐
Java抓取网页内容三种方式
Java抓取https网页数据，解决peer not authenticated异常。导入eclipse就能运行，带有所用的jar包（commons-httpclient-3.1.jar，commons-logging.jar，httpclient-4.2.5.jar，httpcore-4.2.4.jar）
个人编写的java抓取网页内容的代码，可以下载斟酌
这个程序利用java抓取网页内容，然后生成生成静态页面
java抓取网页数据实现
java简单的抓取网页内容的程序java简单的抓取网页内容的程序java简单的抓取网页内容的程序java简单的抓取网页内容的程序java简单的抓取网页内容的程序java简单的抓取网页内容的程序java简单的抓取网页内容的程序java...
java抓取网页内容 ,简单实用,初学
Java抓取网页数据的两种方法：（1）抓取原网页 （2）抓取网页JS返回数据
java抓取网站数据
JAVA通过url获取网页内容
java爬虫抓取网页内容，下载网站图片。抓取整个网站的图片，获取网页完整内容
这是一个获取json网页数据的java实例
java web网站常用抓取其他网站内容,很详细很经典,
java抓取网页java工具类java抓取网页java工具类
java网页抓取数据
导入Hbase的jar包即可直接返回Put对象数据、可以返回map对象数据、支持自定义json格式抓取指定网页的内容、抓取指定时间段内容、抓取指定关键内容、对新闻进行正负面分类、对时间的格式进行了统一的维护、可抓取指定...
java利用URL获取网页内容,
基于JAVA技术的网页内容智能抓取
java抓取网页的爬虫
java用网址抓取网页内容，可用作Ajax+jsp跨域访问