`

HttpURLConnection读取html文件 乱码问题解决

阅读更多

问题是---------bufferreader不管如何转化字符集读取,内容显示均为乱码;后来,使用htmlparse解析html的开源代码,发现在读取网页时没有问题 ==== trace code 发现 乱码有可能是压缩网页造成
比如是-----gzip格式的网页;所以采用以下代码读取网页是没有问题
public static void GetFromHtml() throws IOException{
//int ret=0;
String contentEncoding;
HttpURLConnection url=null;
//String htmladdr="http://www.zhcw.com/data-js/nowdata50.js";
String htmladdr="http://www.itpub.net/753054.html";
       StringBuffer buffer=new StringBuffer("");
       try {
        URL url1 = new URL(htmladdr);
       
       
        url =   (HttpURLConnection)url1.openConnection ();
        url.setRequestProperty("User-Agent", "mozlla/5.0");
        url.setRequestProperty("Accept-Encoding", "gzip, deflate");
        url.connect();
       
       
        contentEncoding=url.getContentEncoding();
       
} catch (Exception e) {
// TODO Auto-generated catch block

e.printStackTrace();
return ;
}
if(url!=null){
InputStream stream;
if ((null != contentEncoding)
                   && (-1 != contentEncoding.indexOf ("gzip"))
            {
                   stream = new GZIPInputStream (
                     url.getInputStream ());
            }
            else if ((null != contentEncoding)
                   && (-1 != contentEncoding.indexOf ("deflate"))
            {
                   stream = new InflaterInputStream (
                      url.getInputStream ());
            }
            else
            {
                   stream = url.getInputStream ();
            }

//InputStream stream= url.getInputStream();

      BufferedReader reader =
         new BufferedReader(new InputStreamReader(stream));
     
      String temp;
          while (null != (temp = reader.readLine())) {
           //temp=new String(reader.readLine().getBytes("gbk");
           System.out.println(temp);
            // break;
          }
          reader.close();
          }
}

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics