定向爬虫 瓦力

一个完整的定向小虫，方便大家看小说，呵呵，有完整代码，实例，文档。。还可定制,这仅仅是一个小小的演试.

 

评论

40 楼 geek87 2009-05-11  

kaki 写道

geek87 写道

谢谢，我也喜欢 机器人瓦力

我前两天才买了一个合金模型。

哦,是吗??有这个买吗??

39 楼 geek87 2009-05-11  

呵呵,很好很强大

38 楼 kaki 2009-05-11  

geek87 写道

谢谢，我也喜欢 机器人瓦力

我前两天才买了一个合金模型。

37 楼 kaki 2009-05-11  

感觉和这个差不多吧？？

package org.xuancheng.service.security; 

import java.io.BufferedReader; 
import java.io.File; 

import java.io.FileOutputStream; 
import java.io.InputStreamReader; 

import java.net.URL; 
import java.util.regex.Matcher; 
import java.util.regex.Pattern; 

public class GetSina { 

/** 
* @param args 
*/ 
public static void main(String[] args) { 

try { 
//参数：1、小说分类号；2、小说起号；3、小说章节数 
getbook(82036,50202,55183); 
} catch (Exception e) { 
// TODO Auto-generated catch block 
e.printStackTrace(); 
} 
} 

private static void getbook(int fenlei,int zhangjie,int zongzhangjie){ 
String charset = "GBK"; 
StringBuffer bf = new StringBuffer(); 
String FileName = "C:\\"+fenlei+".txt"; 
File myFile = new File(FileName); 
if (myFile.exists()) { 
myFile.delete(); 
} 

for (int i = 0; i <= (zongzhangjie-zhangjie); i++) { 
System.out.println("正在抓取小说第【" + i + "】章内容......http://vip.book.sina.com.cn/book/chapter_" + fenlei + "_"+(i+zhangjie)+".html"); 

bf.append(getParagraph("http://vip.book.sina.com.cn/book/chapter_" + fenlei + "_", i+zhangjie)); 


} 

try { 
bf.append("\n\n -----------------本文由【新浪网小说抓取程序改进版0.1】获取\n\n"); 
FileOutputStream fos = new FileOutputStream(FileName); 
fos.write(bf.toString().getBytes(charset)); 
fos.flush(); 
fos.close(); 

System.out.println("文件书写完毕"); 
} catch (Exception e) { 
// TODO Auto-generated catch block 
e.printStackTrace(); 
} 


} 

private static String getParagraph(String url, int index) { 
int status = 0; 
String paragraph = ""; 
try { 
URL ebook = new URL(url + index + ".html"); 
BufferedReader reader = new BufferedReader(new InputStreamReader(ebook.openStream())); 
String line; 
while ((line = reader.readLine()) != null) { 

if (status == 0) { 
//还没有碰到标题 

Pattern pattern = Pattern 
.compile("(.*)<title>(.*)</title>(.*)"); 
Matcher matcher = pattern.matcher(line); 
if (matcher.matches()) { 
paragraph += matcher.group(2); 
paragraph += "\n\n"; 
status = 1; 
} 
} 
if (status == 1) { 
//还没有碰到文章的开头 
//System.out.print(line); 
Pattern pattern = Pattern 
.compile("(.*)<div id=\"contTxt\" class=\"contTxt1\"><p>(.*)"); 
Matcher matcher = pattern.matcher(line); 
if (matcher.matches()) { 
paragraph += matcher.group(2); 
status = 2; //碰到了正文中的画中画 
} 
} 
if (status == 2) { 

Pattern pattern = Pattern.compile("(.*)</p><p></p></div>(.*)"); 
Matcher matcher = pattern.matcher(line); 
if (matcher.matches()) { 
paragraph += matcher.group(2); 
status = 3; 
} 
} 
} 

//替换掉</p><p> 
paragraph=paragraph.replaceAll("</p><p>", "\n\n"); 
return paragraph.replaceAll("</p></div>", "\n\n"); 
} catch (Exception e) { 
System.out.println(e.toString()); 
return "抓取出错"; 
} 
} 
} 

36 楼 geek87 2009-05-11  

anson2003 写道

我有一个通用的爬虫(UI)。
可定制(服务搭建暂不提供)。

地址:http://www.box.net/shared/c9gub1hk8e

如有搭建服务器的，我可以配合。

需要jdk 1.6

有机会好好聊聊

35 楼 geek87 2009-05-11  

目前没有办法开源，商业用途。。公司产品

34 楼 anson2003 2009-05-11  

<p>我有一个通用的爬虫(UI)。<br>可定制(服务搭建暂不提供)。<br><br>地址:<a href="http://www.box.net/shared/c9gub1hk8e" target="_blank">http://www.box.net/shared/c9gub1hk8e</a><br><br>抓取说明书:<a href="http://www.box.net/shared/horu7hybcq" target="_blank">http://www.box.net/shared/horu7hybcq</a><br><br>如有搭建服务器的，我可以配合。<br><br><span style="color: red;">需要jdk 1.6</span><br><br><br><img src="/upload/attachment/102960/e1fd2d95-609a-37b7-a814-05621194d388.png" alt="" width="800" height="655"></p>
<p> </p>

33 楼 nzinfo 2009-05-11  

我做过一些开源的东西。也收到过一些热心人的增强
不开源，别人为什么要花时间 帮你做东西？

32 楼 geek87 2009-05-11  

谢谢，我也喜欢 机器人瓦力

31 楼 flyingzl 2009-05-11  

机器人瓦力 不错的电影 我冲着这个来,哈哈 支持下

30 楼 geek87 2009-05-11  

小弟才学疏浅，请大家赐教。。

29 楼 geek87 2009-05-11  

做东西方便自己，方便别人

28 楼 geek87 2009-05-11  

呵呵，纯属娱乐。。不要当真

27 楼 xiaoqulai 2009-05-11  

geek87 写道

我们现在不考虑反编译问题，我想，大家能利用这个东西，做点产品什么的就好。。

这个东东不就是用JDK里面的API

不开源谁帮你做产品哦，谁知道你是不是用JDK里面的socket类抓几个固定模板的网页然后hardcode解析一下来糊弄大家哩，那个都没技术含量滴，看你引用的包就两个，十有八九是这样的，这样的东东还想做产品啊

回帖看到了你贴的代码，哎，HttpsURLConnection~~~，其实可以使用apache的http client的，还带java版的浏览器的

26 楼 liangguanhui 2009-05-11  

哈哈，我也在做类似的东西。Direct Spider,很好。

25 楼 geek87 2009-05-11  

<p>源码是没有，不过可以贴一个相关的代码 </p>
<pre name="code" class="java">/**
* 读取一个网页全部内容
*/
public String getOneHtml(String htmlurl, String encoding)
throws IOException {
// 检查网址的有效性
if (htmlurl == null || htmlurl.trim().length() &lt;= 0) {
return null;
}
boolean bool = StringFactory.chk("^http://", htmlurl.trim()
.toLowerCase());
if (!bool) {
return null;
}
URL url;
String temp;
StringBuffer sb = new StringBuffer();
BufferedReader in = null;
InputStream is = null;
url = new URL(htmlurl);
HttpURLConnection http = (HttpURLConnection) url.openConnection(); // http请求
try {

// 提取字符编码
String contentType = http.getContentType();
String myencoding = null;
if (contentType != null) {
int index = contentType.indexOf("charset=");
if (index != -1) {
myencoding = contentType.substring(index +.trim();
}
}
// 如果在HTTP链接中找到字符集信息，则优先使用
if (myencoding != null &amp;&amp; myencoding.trim().length() &gt; 0) {
encoding = myencoding;
}
// System.out.println("编码：" + encoding);
if (encoding == null || encoding.trim().length() &lt;= 0) {
encoding = "gb2312";
}
is = http.getInputStream(); // http流
in = new BufferedReader(new InputStreamReader(is, encoding));// 读取网页全部内容
while ((temp = in.readLine()) != null) {
sb.append(temp);
}
} catch (MalformedURLException me) {
logger.error("输入的URL格式有问题！ url:" + htmlurl);
me.getMessage();
throw me;
} catch (IOException e) {
e.printStackTrace();
throw e;
} finally {
try {
in.close();
is.close();
} catch (Exception e) {
}
if(http!=null){
http.disconnect();
}
}
// System.out.println("页面内容：\n"+sb.toString());
return sb.toString();
}</pre>
<p> </p>
<p> </p>

24 楼 d4114 2009-05-11  

源码给我发个吧，我最近也在做这个东西，交流交流

23 楼 geek87 2009-05-11  

我们现在不考虑反编译问题，我想，大家能利用这个东西，做点产品什么的就好。。

22 楼 geek87 2009-05-11  

呵呵，，有才

21 楼 igogo007 2009-05-11  

geek87 写道

呵呵，目前还没开放，

XJAD反编译一下不就有了。。。