Java爬虫的相对路径转绝对路径

最近在做个HTMLParser抓取网页内容；
有些网页的链接写的都是相对路径；
在CSDN上找到的，记录一下。

	@SuppressWarnings("finally")
	public static String getAbsoluteURL(String baseURI, String relativePath){
		String abURL=null;
		try {
			URI base=new URI(baseURI);//基本网页URI 
			URI abs=base.resolve(relativePath);//解析于上述网页的相对URL，得到绝对URI 
			URL absURL=abs.toURL();//转成URL 
			System.out.println(absURL);
			abURL = absURL.toString();
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (URISyntaxException e) {
			e.printStackTrace();
		} finally{
			return abURL;
		}
	}

评论

1 楼 rich8w 2010-02-24  

设置User-Agent属性

    parser.getConnectionManager().getDefaultRequestProperties().put("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7");   
    Parser parser = new Parser();   
    parser.setEncoding("GB2312");   
    parser.setURL("http://www.xxx.com/show.jsp?id=216");