- package com.jsouplogin;
- import java.util.HashMap;
- import java.util.List;
- import java.util.Map;
- import org.jsoup.Connection;
- import org.jsoup.Jsoup;
- import org.jsoup.Connection.Method;
- import org.jsoup.Connection.Response;
- import org.jsoup.nodes.Document;
- import org.jsoup.nodes.Element;
- /**
- * 使用Jsoup模拟登陆Iteye
- *
- *
- * 大体思路如下:
- *
- * 第一次请求登陆页面,获取页面信息,包含表单信息,和cookie(这个很重要),拿不到,会模拟登陆不上
- *
- *
- * 第二次登陆,设置用户名,密码,把第一次的cooking,放进去,即可
- *
- * 怎么确定是否登陆成功?
- *
- * 登陆后,打印页面,会看见欢迎xxx,即可证明
- *
- *
- * @date 2014年6月27日
- * @author qindongliang
- *
- *
- * **/
- public class JsoupLoginIteye {
- public static void main(String[] args)throws Exception {
- JsoupLoginIteye jli=new JsoupLoginIteye();
- jli.login("xxxxx", "xxxxx");//输入Iteye的用户名,和密码
- }
- /**
- * 模拟登陆Iteye
- *
- * @param userName 用户名
- * @param pwd 密码
- *
- * **/
- public void login(String userName,String pwd)throws Exception{
- //第一次请求
- Connection con=Jsoup.connect("http://www.iteye.com/login");//获取连接
- con.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");//配置模拟浏览器
- Response rs= con.execute();//获取响应
- Document d1=Jsoup.parse(rs.body());//转换为Dom树
- List<Element> et= d1.select("#login_form");//获取form表单,可以通过查看页面源码代码得知
- //获取,cooking和表单属性,下面map存放post时的数据
- Map<String, String> datas=new HashMap<>();
- for(Element e:et.get(0).getAllElements()){
- if(e.attr("name").equals("name")){
- e.attr("value", userName);//设置用户名
- }
- if(e.attr("name").equals("password")){
- e.attr("value",pwd); //设置用户密码
- }
- if(e.attr("name").length()>0){//排除空值表单属性
- datas.put(e.attr("name"), e.attr("value"));
- }
- }
- /**
- * 第二次请求,post表单数据,以及cookie信息
- *
- * **/
- Connection con2=Jsoup.connect("http://www.iteye.com/login");
- con2.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
- //设置cookie和post上面的map数据
- Response login=con2.ignoreContentType(true).method(Method.POST).data(datas).cookies(rs.cookies()).execute();
- //打印,登陆成功后的信息
- System.out.println(login.body());
- //登陆成功后的cookie信息,可以保存到本地,以后登陆时,只需一次登陆即可
- Map<String, String> map=login.cookies();
- for(String s:map.keySet()){
- System.out.println(s+" "+map.get(s));
- }
- }
- }
- 浏览: 205903 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (397)
- j2se (28)
- nio (3)
- 易错点 (3)
- 面试ssh (9)
- ssh整合 (11)
- jbpm+spring (2)
- js (15)
- 高级技术 (59)
- swing (3)
- 数据库 (16)
- hibernate (18)
- spring (19)
- 开发网站知识点 (9)
- jbpm (4)
- json (5)
- 设计模式 (22)
- 自定义标签 (1)
- j2ee (9)
- lucene (3)
- cahce (11)
- maven (5)
- html5 (1)
- 多数据源 (10)
- 页面聊天 (9)
- 富客户端 (1)
- android (13)
- aop+拦截器+jms (13)
- 框架整合 (1)
- 非阻塞io (24)
- 暂时不看 (13)
- webservice (3)
- oracle (3)
- 算法 (4)
- 协程 (2)
- netty (1)
- 爬虫 (0)
- 高级基础 (1)
- JVM调优总结 (12)
- 知识点技巧 (1)
- REST (0)
- 基础 io (2)
- dubbo (8)
- 线程 (1)
- spring源码 (2)
- git (1)
- office (2)
最新评论
-
sjzcmlt:
,写的挺好的啊
一个完整的负载均衡的例子 . -
他大姨妈:
网上大部分例子都是直接通过IdleStateHandler来实 ...
Netty的超时机制 心跳机制
发表评论
-
Java 如何有效地避免OOM:善于利用软引用和弱引用
2016-04-26 23:32 0想必很多朋友对OOM ... -
Java内部类详解
2016-04-26 23:21 0说起内部类这个词,想 ... -
浅析Java中的final关键字
2016-04-26 23:14 0浅析Java中的final关键字 谈到final关键 ... -
http和socket之长连接和短连接区别
2016-04-15 11:02 597TCP/IP TCP/IP是个协议组,可分为三个层次:网络层 ... -
一个对象占用多少字节?
2015-06-06 11:43 506老早之前写过一篇博客,是关于一个Integer对象到底占用 ... -
JVM学习笔记四 之 运行时数据区
2015-06-06 11:43 302一、概述 运行时数据区是jvm运行时的内存布局,类装载到 ... -
JVM学习笔记三 之 ClassLoader
2015-06-04 20:37 0一、ClassLoader 负责装载class文件;这个文 ... -
jvm运行期打印汇编信息
2016-04-26 22:51 700如果只在jvm参数中加入-XX:+PrintAssembl ... -
查看java对象在内存中的布局
2015-06-04 20:05 964接着上篇《一个对象占用多少字节?》中遇到的问题: ... -
一个对象占用多少字节?
2015-06-04 20:04 365老早之前写过一篇博客,是关于一个Integer对象到底占 ... -
[JavaScript]多文件上传时动态添加及删除文件选择框
2014-11-07 10:41 582多文件上传时,首先要解决的一个问题就是动态去添加或删除文件选 ... -
java对象的内存计算
2014-11-01 13:07 427我们讨论的是java heap中对象所占内存。 1.基本类型 ... -
JAVA多线程和并发基础面试问答
2014-10-28 09:47 402Java多线程面试问题 1. ... -
java消息插件开发
2014-10-25 22:39 451package my.addon; public int ... -
java监听器原理
2014-10-24 15:39 650public class MyActivity implem ... -
java常用设计模式应用案例 .
2014-06-06 09:39 513<div class="iteye-blog- ... -
Java中GC的工作原理 .
2014-06-09 10:19 394一个优秀的Java程序员必须了解GC的工作原理、如何优化G ... -
java中易出错的且常被面试的几点 .
2014-06-09 10:19 445一、关于Switch 代码 ... -
面试中排名前10的算法介绍 .
2014-06-11 21:40 541以下是在编程面试中排名前10的算法相关的概念,我会通过 ... -
创建Java线程池
2014-05-21 16:04 517线程池的作用: 线程池作用就是限制系统中执行线 ...
相关推荐
Jsoup+httpclient模拟登陆和抓取页面.pdf
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader...
jsoup 爬虫 模拟登陆 step to step 模拟登陆
NULL 博文链接:https://chenchuangfeng.iteye.com/blog/1821861
httpclient-4.3.3+jsoup-1.7.3模拟登陆csdn成功后;然后再抓取用户登录主页的内容http://my.csdn.net/my/mycsdn
如何使用jsoup
jsoupjar包,附带例子,有jsoup的使用说明
Android OkHttp3 Jsoup】 模拟登录教务系统 抓取课表和成绩(Eclipse版.rar,太多无法一一验证是否可用,程序如果跑不起来需要自调,部分代码功能进行参考学习。
jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jar,jsoup-1.15.3.jarjsoup-...
遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施...
Jsoup
该资源包含了一个利用jsoup实现的网页解析,读取搜狐新闻上自己想要的数据,简单易懂。
基于Java+Jsoup的手机信息爬虫源码.zip
Java解析html的实用工具jsoup和它一个简单的例子,方便使用jsoup进行html的解析
Jsoup 1.5.2 和jsoup 1.6 开发包jar包,开发文档,源码包
JsoupAPI jsoup最新版帮助文档(1.10.2)
赠送jar包:jsoup-1.14.3.jar; 赠送原API文档:jsoup-1.14.3-javadoc.jar; 赠送源代码:jsoup-1.14.3-sources.jar; 赠送Maven依赖信息文件:jsoup-1.14.3.pom; 包含翻译后的API文档:jsoup-1.14.3-javadoc-API...
Jsoup的主要功能 1)从一个URL,文件或字符串中解析HTML 2)使用DOM或CSS选择器来查找、取出数据 3)可操作HTML元素、属性、文本 注意:jsoup是基于MIT协议发布的,可放心使用于商业项目。 Jsoup的主要功能 1)...
Jsoup库文件;Jsoup解析Java包
里面的JsoupDemo是关于Jsoup使用的一个简单例子,sinaweather是关于Json数据解析的一个简单例子