`

模拟浏览器访问增加页面浏览数量

阅读更多

因为刚开始开博客并没有什么浏览量,所以心中一时想着怎么变成增加自己的浏览量,于是参考了网上的例子写了个程序,主要是用java访问指定的网页,当然只是一时兴起,没有恶意。

我开始只是采用简单的URL访问页面,但是一般网站会对这种纯爬虫或者类爬虫程序拒绝,我就是一开始被拒绝了,并被网站警告 ,因此,需要模拟浏览器访问才行,浏览器访问使用的HTTP协议,可以在程序中加入这个请求报头,至于报头内容,谷歌浏览器按F12后有个network选项,里面可以看到

 

说多了无用,直接上程序

 

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;
import java.util.Map;

public class visitWebsite {
    /**
     * 向指定URL发送GET方法的请求
     * 
     * @param url
     *            发送请求的URL
     * @param param
     *            请求参数,请求参数应该是 name1=value1&name2=value2 的形式。
     * @return URL 所代表远程资源的响应结果
     */
    public static String sendGet(String url, String param) {
        String result = "";
        BufferedReader in = null;
        String urlNameString;
        try {
            if(!param.equals("")){
            	urlNameString = url + "?" + param;
            }else{
            	urlNameString=url;
            }
            URL realUrl = new URL(urlNameString);
            // 打开和URL之间的连接
            URLConnection connection = realUrl.openConnection();
            // 设置通用的请求属性,浏览器请求报头,不然会被有的网站检测到恶性爬网页而被禁止访问
            connection.setRequestProperty("accept", "*/*");
            connection.setRequestProperty("connection", "Keep-Alive");
            connection.setRequestProperty("user-agent",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36");
            // 建立实际的连接
            connection.connect();
            // 获取所有响应头字段
            Map<String, List<String>> map = connection.getHeaderFields();
            // 遍历所有的响应头字段
            for (String key : map.keySet()) {
                System.out.println(key + "--->" + map.get(key));
            }
            // 定义 BufferedReader输入流来读取URL的响应
            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            System.out.println("发送GET请求出现异常!" + e);
            e.printStackTrace();
        }
        // 使用finally块来关闭输入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }

    /**
     * 向指定 URL 发送POST方法的请求
     * 
     * @param url
     *            发送请求的 URL
     * @param param
     *            请求参数,请求参数应该是 name1=value1&name2=value2 的形式。
     * @return 所代表远程资源的响应结果
     */
    public static String sendPost(String url, String param) {
        PrintWriter out = null;
        BufferedReader in = null;
        String result = "";
        try {
            URL realUrl = new URL(url);
            // 打开和URL之间的连接
            URLConnection conn = realUrl.openConnection();
            // 设置通用的请求属性
            conn.setRequestProperty("accept", "*/*");
            conn.setRequestProperty("connection", "Keep-Alive");
            conn.setRequestProperty("user-agent",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36");
            // 发送POST请求必须设置如下两行
            conn.setDoOutput(true);
            conn.setDoInput(true);
            // 获取URLConnection对象对应的输出流
            out = new PrintWriter(conn.getOutputStream());
            // 发送请求参数
            out.print(param);
            // flush输出流的缓冲
            out.flush();
            // 定义BufferedReader输入流来读取URL的响应
            in = new BufferedReader(
                    new InputStreamReader(conn.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            System.out.println("发送 POST 请求出现异常!"+e);
            e.printStackTrace();
        }
        //使用finally块来关闭输出流、输入流
        finally{
            try{
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            }
            catch(IOException ex){
                ex.printStackTrace();
            }
        }
        return result;
    }    
    
    
    public static void main(String[]args) throws InterruptedException{
    	
    	int i=0;
    	while(i<1000){
    		visitWebsite.sendGet("http://the page you are going to visit", "");
    		/*
    		 * 一般网站如果检测到某个iP短时间内过频繁访问也会拒绝,因此这里设置每30秒请求一次
    		 * 
    		 * */
    		Thread.sleep(30*1000);
    		i++;
    	}
    }
}

 

值得说明的是,即使这样,可以在一段时间内增加网站的访问量,但是我测试的网站还是会因为同一个IP在一段时间内过于频繁访问而被要求输入验证码,不然IP会被禁止访问,在输入验证码后会解禁IP,听说可以使用动态路由访问,这方面我不太熟,所以不做解释。

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics