`
soongbo
  • 浏览: 87026 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

操作抓取网络资源

    博客分类:
  • Java
阅读更多
  在实际开发过程中,大家难免遇到抓取网络资源的操作,列如:抓取相册图片,获得网络的MP3,或者是Flash等资源。下边就写了一个读取网络资源的事列:
private boolean upload(String srcUrl, String fileName, int fileSize) {
		URL url = null;
		FileOutputStream fos = null;
		BufferedInputStream bis = null;
		HttpURLConnection httpUrl = null;
		try {
			byte[] buf = new byte[BUFFER_SIZE];
			url = new URL(srcUrl);
			httpUrl = (HttpURLConnection) url.openConnection();
			httpUrl.setDoOutput(true);
			httpUrl.setRequestMethod("GET");
			httpUrl.setConnectTimeout(30 * 1000);//set ms in unit
			httpUrl.setReadTimeout(30 * 1000); 
			if (httpUrl.getContentLength() > fileSize * 1024) {
				logger.error("upload file gt file's size!");
				return false;
			}
			bis = new BufferedInputStream(httpUrl.getInputStream());
			File file = new File(fileName);
			if (!file.getParentFile().exists()) {
				file.getParentFile().mkdirs();
			}
			fos = new FileOutputStream(fileName);
			
			int size = 0;
			while ((size = bis.read(buf)) != -1) {
				fos.write(buf, 0, size);
			}
			
			fos.flush();
			httpUrl.disconnect();
		} catch (Exception e) {
			logger.error(e.getMessage(), e);
			return false;
		} finally {
			if (null != fos) {
				try {
					fos.close();
				} catch (IOException e) {
					logger.error(e.getMessage(), e);
				}
			}
			
			if (null != bis) {
				try {
					bis.close();
				} catch (IOException e) {
					logger.error(e.getMessage(), e);
				}
			}
			
			if (null != httpUrl) {
				httpUrl.disconnect();
			}
		}
		return true;
	}
分享到:
评论

相关推荐

    PHP中使用cURL操作网络资源

    PHP中使用cURL操作网络资源 一、 开发环境 1、环境搭建:Windows 7+Apache 2.4.18+MySQL 5.7.11+PHP 7.1.0。 2、文本编辑器:Sublime 3。 二、主要技术 本案例主要使用PHP 7中的数据传输神器cURL来抓取网络资源、...

    PHP中使用cURL操作网络资源1

    二、主要技术本案例主要使用PHP 7中的数据传输神器cURL来抓取网络资源、动态获取WebService数据接口数据和发送HTTP请求,从而来实现简单网页爬虫程

    免费的网络抓包工具RawCap

    RawCap是一款免费的网络抓包工具,它在Windows操作系统上运行。该工具可以帮助用户捕获网络数据包,并将其保存为pcap文件。以下是RawCap的一些特征和功能: 支持多种网络接口:RawCap可以与计算机上的任意网络接口...

    Python分布式网络抓取器和动态爬虫

    Python分布式网络抓取器和动态爬虫: Python分布式网络抓取器是指使用Python编程语言实现的网络抓取工具,该工具可以将爬取任务分发给多台计算机或服务器进行并行处理。通过分布式的方式,可以有效地提高爬取效率和...

    Wireshark和科来网络抓包软件教程

    包含: colasoft-csnas-getting-started Wireshark操作指南

    千图网抓取v20190123绿色免费版

    它能够帮助用户快捷方便的下载千图网图片资源,免水印,支持素材库、收藏夹下载,支持详情抓取,操作简单,抓取后,软件会自动生成一个个的excel文档,后续直接将excel文档导入进下载器即可下载,亲测可用,有需求的...

    基于nginx 流量统计,python +django 每天抓取数据存入数据库.zip

    操作系统:LInux、树莓派、安卓开发、微机操作系统、网络操作系统、分布式操作系统等。此外,还有嵌入式操作系统、智能操作系统等。 网络与通信:数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络与...

    A Linux network packet sniffer using Qt (Linux 网络抓包系统).zip

    操作系统:LInux、IOS、树莓派、安卓开发、微机操作系统、网络操作系统、分布式操作系统等。此外,还有嵌入式操作系统、智能操作系统等。 网络与通信:数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络...

    功能超强的网络流媒体地址嗅探工具__酷抓coojah_6.8.193.0614终结版

    可以在线抓取正在访问的所有网络资源并提供下载,比如图片、Flash、音乐、视频等。独有的完整HTTP请求包和响应包抓取分析功能,打造的就是超强的防盗链下载功能和精准的真实文件类型自动识别功能。独有的疑难网址...

    网络爬虫调研报告.docx

    网络爬虫调研报告 一 调研背景 项目中要对指定的网络资源进行抓取、存储、分类、索引、并提供检索服务。充当全文检索数据库的是Apache组织下的开源项目Lucene 检索工具,而Lucene只是个搜索引擎工具,它提供API接口...

    毕设&课设&项目&实训-基于 MySQL 协议的抓包工具.zip

    基于 MySQL 协议的抓包工具,实时抓取 MySQL 服务端的请求,并格式化输出,输出内容包括访问时间、来源 IP、执行的SQL语句。以便检测升级到MySQL 8.0的SQL语法兼容性。 所有源码均经过严格测试,可以直接运行,可以...

    wireshark抓包及分析的概要介绍与分析

    Wireshark是一款开源且功能...这些资源通常由经验丰富的网络专家授课,通过实际操作演示如何安装配置Wireshark、执行基本抓包、应用高级过滤表达式以及深入分析网络流量。这些视频课程适合视觉学习者,能够直观地展示

    npcap-1.75.zip wireshark 抓包驱动

    Npcap是一款功能强大的网络抓包库和驱动程序,适用于Windows平台。该版本具有优化和改进,以提供更稳定和高效的网络抓包体验。通过本次更新,您可以免费获得最新版本的Npcap1.7.5.exe,为您的网络分析和安全测试提供...

    其他类别WebSpider蓝蜘蛛网页抓取 v5.1-webspider.rar

    WebSpider蓝蜘蛛网页抓取 v5.1_webspider.rar 是一个专业的计算机软件包,它主要用于网络爬虫的开发和操作。这个软件包是基于Java Server Pages (JSP)技术开发的,因此对于计算机专业的学生或者开发者来说,它是一个...

    python爬虫教程系列、从0到1学习python爬虫,包括浏览器抓包,手机APP抓包,.zip

    操作系统:LInux、树莓派、安卓开发、微机操作系统、网络操作系统、分布式操作系统等。此外,还有嵌入式操作系统、智能操作系统等。 网络与通信:数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络与...

    计算机网络安全及防范策略.docx

    用户对网络资源的访问权限对应一张访问控制表,用以表明用户对网络资源的访问能力。属性设置可以覆盖已经指定的任何受托者指派和有效权限。网络的属性可以保护重要的目录和文件,防止用户对目录和文件的误删、执行...

    fidder安装包,抓包工具

    fidder安装包。Fiddler是一个蛮好用的抓包工具,可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。

    局域网中通过抓ARP包的方式获取网络设备和冲突的设备列表

    完成侦测网络中的设备,且获取IP冲突设备的列表。 使用了抓取ARP包的方式。 操作步骤: 1 系统需要安装 WinPcap_4_1_3 2 需要引用 SharpPcap.dll 3 需要引用 PacketDotNet.dll 我把这个抓ARP包的功能做成了一个类,...

    《Wireshark从入门到精通》抓包协议分析视频下.rar

    1.2.2 Wireshark进阶调试之数据包操作,avi 1.2.3 Wireshark进阶调试之首选项设置.avi 1.2.4 Wireshark进阶调试之抓包选项设置.avi 1.25.1 Wireshark进阶调试-抓包过滤器设置avi 1.25.2 Wireshark进阶调试-显示过滤器...

    超级课程表 课程格子 教务系统抓取 SQLite Android Studio HttpWatch Jsoup解析网页.zip

    操作系统:LInux、IOS、树莓派、安卓开发、微机操作系统、网络操作系统、分布式操作系统等。此外,还有嵌入式操作系统、智能操作系统等。 网络与通信:数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络...

Global site tag (gtag.js) - Google Analytics