`
- 浏览:
1163244 次
-
1. 基本原理,每条线程从文件不同的位置开始下载,最后合并出完整的数据。
2. 使用多线程下载的好处
下载速度快。为什么呢?很好理解,以往我是一条线程在服务器上下载。也就是说,对应在服务器上,有一个我的下载线程存在。
这时候肯定不只我一个人在下载,服务器上肯定同时存在多条下载线程,在下载服务器资源。对于 CPU 来说,不可能实现并发执行。
CPU 会公平的为这些线程划分时间片,轮流执行,a线程十毫秒 , b线程十毫秒...
假设运用了本文这种手法,意味着我的下载应用,可以同时使用服务器端的任意多条线程同时下载(理论上).
假设这个线程数目是 50 条,本应用就将更多的得到服务器 CPU 的照顾超过 50 倍.
但是总归会受本地网络速度的限制。
3. 每条线程要负责下载的数据长度可以用 “下载数据的总长度” 除以 “参与下载的线程总数” 来计算。但是要考虑到不能整除的情况。
假设有 5 条线程参与下载,那么计算公式应该为 :
int block = 数据总长度%线程数 == 0? 10/3 : 10/3+1; (不能整除,则加一)
4. 和数据库分页查询类型。每条线程需要知道自己从数据的什么位置开始下载,下载到什么位置为止。
首先,为每一个线程配备一个 id , id 从零开始,为 0 1 2 3...
开始位置:线程 id 乘以每条线程负责下载的数据长度.
结束位置:下一个线程开始位置的前一个位置。
如:
int startPosition = 线程id * 每条线程下载的数据长度
int endPosition = (线程id + 1) * 每条线程下载的数据长度 -1;
5. HTTP 协议的 Range 头可以指定从文件的什么位置开始下载,下载到什么位置结束。单位为 1byte
Range:bytes=2097152-4194304 表示从文件的 2M 的位置开始下载,下载到 4M 处结束
假如 Range 指定要读取到 文件的 5104389 的字节数位置,但是下载的文件本身只有 4104389 个长度。那么下载操作自动会在 4104389 处停止。
因此不会下载到多余的无效数据.
6. 另一个难题是如何按顺序将数据写往本地文件。因为,线程是同步执行的,它们同时在往本地目标文件写入数据。
而线程于线程之间写入的数据并没有按照下载数据本身的顺序。若按照普通的 OutputStream 的写入方式,最后的本地下载文件将失真。
于是我们将用到下面这个类:
java.io.RandomAccessFile
因为此类同时实现了 DataOutput 和 DataInput 的方法。使他们同时具有写入和读取功能。
这个类仿佛存在一个类似文件指针的东西,可以随意执行文件的任意一个位置开始读写.
因此此类的实例支持对随机访问文件的读取和写入.
例如:
-
Filefile=newFile("1.txt");
-
RandomAccessFileaccessFile=newRandomAccessFile(file,"rwd");
-
accessFile.setLength(1024);
虽然,执行完这段代码后,我们还没有向目标文件 "1.txt" 写入任何数据。但是如果此时查看其大小,已经为 1kb 了。这是我们自己设置的大小。
这个操作类似于向这个文件存储了一个大型的 byte 数组。这个数组将这个文件撑到指定大小。等待被填满。
既然是这样,好处就在于,我们可以通过 “索引” 随机访问此文件系统的某个部分。
例如,可能这个文件大小为 500
那么,我的业务需求可能需要第一次 从 300 位置开始写数据,写到 350 为止。
第二次,我又从 50 开始写数据,写到 100 为止。
总之,我不是 “一次性” 的 “按顺序” 的将这个文件写完。
那么,RandomAccessFile 可以支持这种操作。
API
void setLength(long newLength)
Sets the length of this file. (设置文件的预计大小)
void seek(long pos)
Sets the file-pointer offset, measured from the beginning of this file, at which the next read or write occurs.
假设为这个方法传入 1028 这个参数,表示,将从文件的 1028 位置开始写入。
void write(byte[] b, int off, int len)
Writes len bytes from the specified byte array starting at offset off to this file.
write(byte[] b)
Writes b.length bytes from the specified byte array to this file, starting at the current file pointer.
void writeUTF(String str)
Writes a string to the file using modified UTF-8 encoding in a machine-independent manner.
String readLine()
Reads the next line of text from this file.
实验代码:
-
publicstaticvoidmain(String[]args)throwsException{
-
-
Filefile=newFile("1.txt");
-
-
RandomAccessFileaccessFile=newRandomAccessFile(file,"rwd");
-
-
-
-
accessFile.setLength(3);
-
-
-
-
accessFile.seek(1);
-
-
accessFile.write("2".getBytes());
-
-
-
-
accessFile.seek(0);accessFile.write("1".getBytes());
-
-
-
-
accessFile.seek(2);
-
-
accessFile.write("3".getBytes());accessFile.close();
-
-
-
-
}
以上实验成功,虽然我们写入字符串的顺序为 "2"、"1"、"3",但是因为设置了文件偏移量的关系,文件最终保存的数据为 : 123
另一个疑问,写完这三个数据,文件的大小已经为 3 个字节大小了。已经撑满了写入的数据,那么我们继续往里面放数据会有什么效果?
/* 向超出大小的第四个字节位置写入数据 */
accessFile.seek(3);
accessFile.write("400".getBytes());
以上代码无论 seek 方法指定的文件指针偏移量以及存入的数据,都已经超出了最开始为文件设定的 3 个字节的大小。
按照我的猜测,至少 “accessFile.seek(3)” 位置会抛出 "ArrayIndexOutOfBoundsException" 异常,表示下标越界。
而,单独执行 "accessFile.write("400".getBytes())" 应该可以成功。因为这个需求属于合理的,应该有执行它的机制。
实验结果是两句代码都是成功的。貌似是说明,文件隐含的大型的字节数组,可以自动撑大。
但是要注意的问题是,必须要保证所设定的文件大小的每一个位置都具有合法的数据,至少不能为空。
例如:
/* 向第三个位置写入 '3' */
accessFile.seek(2);
accessFile.write("3".getBytes());
accessFile.seek(5);
accessFile.write("400".getBytes());
那么结合之前的代码,最后的结果为:
123口口400
在空白的两个位置处出现了乱码。这是理所应当的。
另外,假设我们为文件指定了一百个长度:
accessFile.setLength(100);
而,实际上,我们只为其前五个位置设置了值。那么理所当然的是,文件保存的数据,最后会缀上 95 个乱码。
7. 准备工作应该十分充分了。接下来上代码。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的实现.基于HTTP协议的多线程下载he断点续传的...
详细介绍基于HTTP协议的多线程下载工具的原理、实现和应用
实现HTTP协议和FTP协议的多线程下载
用C#实现HTTP协议下的多线程文件传输
Android中使用HTTP协议实现多线程断点下载案例!
我的Android进阶之旅------>Android基于HTTP协议的多线程断点下载器的实现的源代码,原文地址:http://blog.csdn.net/ouyang_peng/article/details/10125409
VC中ftp协议实现多线程断点续传 VC中ftp协议实现多线程断点续传
仿迅雷的下载工具。能够实现多线程下载,断点下载
ftp协议实现多线程断点续传的代码 c++ builder.rar
C#之HTTP协议多线程下载实现spider网络爬虫程序编写[借鉴].pdf
用来通过HTTP协议下载的程序,支持断点续传和多线程下载。 注意,该程序一次只能下载一个任务,其中的列表虽然可以列入很多内容,但没有实现功能。
我的Android进阶之旅------>Android基于HTTP协议的多线程断点下载器的实现的源代码,原文地址:http://blog.csdn.net/ouyang_peng/article/details/10125409 这个进行了优化
用C#语言实现http协议下的多线程文件传输
我的Android进阶之旅------>Android基于HTTP协议的多线程断点下载器的实现的源代码,原文地址:http://blog.csdn.net/ouyang_peng/article/details/10125409 这个进行了第二次优化
基于golang实现的多线程下载器,用于下载支持http/https协议的资源,具体源码可移步个人博客(地址:http://t.csdn.cn/0aR0i)。
里面有ftp的协议实现多线程的端点下载,多线程,请大家多关注关注
其主要原因是这些软件都采用了多线程下载和断点续传技术。如果我们自己来编写一个类似这样的程序,也能够快速的在互联网上下载文件,那一定是非常愉快的事情。下面我就讲一讲如何利用C#语言编写一个支持多线程下载...
基于Java多线程与线程安全实践-基于Http协议的断点续传设计与实现.zip基于Java多线程与线程安全实践-基于Http协议的断点续传设计与实现.zip基于Java多线程与线程安全实践-基于Http协议的断点续传设计与实现.zip基于...
用VC模拟HTTP协议实现多线程断点续传,是当前安防工具的热点技术,值得研究。本程序在vs2008和vc6.0下均调试成功,1分绝对不多。童叟无欺!
多线程下载:首先,需要实现多线程下载文件的功能。可以使用Java中的多线程技术,例如通过创建多个线程同时下载文件的不同部分,从而提高下载速度和效率。 断点续传设计:为了支持断点续传,需要在下载过程中记录已...