本博客介绍如何进行文件的分块上传。本文侧重介绍客户端,服务器端请参考博客《Java 文件分块上传服务器端源代码》。建议读者朋友在阅读本文代码前先了解一下 MIME 协议。
所谓分块上传并非把大文件进行物理分块,然后挨个上传,而是依次读取大文件的一部分文件流进行上传。分块,倒不如说分流比较切实。本文通过一个项目中的示例,说明使用 Apache 的 HttpComponents/HttpClient 对大文件进行分块上传的过程。示例使用的版本是 HttpComponents Client 4.2.1。
本文仅以一小 demo 功能性地解释 HttpComponents/HttpClient 分块上传,没有考虑 I/O 关闭、多线程等资源因素,读者可以根据自己的项目酌情处理。
本文核心思想及流程:以 100 MB 大小为例,大于 100 MB 的进行分块上传,否则整块上传。对于大于 100 MB 的文件,又以 100 MB 为单位进行分割,保证每次以不大于 100 MB 的大小进行上传。比如 304 MB 的一个文件会分为 100 MB、100 MB、100 MB、4 MB 等四块依次上传。第一次读取 0 字节开始的 100 MB 个字节,上传;第二次读取第 100 MB 字节开始的 100 MB 个字节,上传;第三次读取第 200 MB 字节开始的 100 MB 个字节,上传;第四次读取最后剩下的 4 MB 个字节进行上传。
自定义的 ContentBody 源码如下,其中定义了流的读取和输出:
package com.defonds.rtupload.common.util.block; import java.io.File; import java.io.IOException; import java.io.OutputStream; import java.io.RandomAccessFile; import org.apache.http.entity.mime.content.AbstractContentBody; import com.defonds.rtupload.GlobalConstant; public class BlockStreamBody extends AbstractContentBody { //给MultipartEntity看的2个参数 private long blockSize = 0;//本次分块上传的大小 private String fileName = null;//上传文件名 //writeTo需要的3个参数 private int blockNumber = 0, blockIndex = 0;//blockNumber分块数;blockIndex当前第几块 private File targetFile = null;//要上传的文件 private BlockStreamBody(String mimeType) { super(mimeType); // TODO Auto-generated constructor stub } /** * 自定义的ContentBody构造子 * @param blockNumber分块数 * @param blockIndex当前第几块 * @param targetFile要上传的文件 */ public BlockStreamBody(int blockNumber, int blockIndex, File targetFile) { this("application/octet-stream"); this.blockNumber = blockNumber;//blockNumber初始化 this.blockIndex = blockIndex;//blockIndex初始化 this.targetFile = targetFile;//targetFile初始化 this.fileName = targetFile.getName();//fileName初始化 //blockSize初始化 if (blockIndex < blockNumber) {//不是最后一块,那就是固定大小了 this.blockSize = GlobalConstant.CLOUD_API_LOGON_SIZE; } else {//最后一块 this.blockSize = targetFile.length() - GlobalConstant.CLOUD_API_LOGON_SIZE * (blockNumber - 1); } } @Override public void writeTo(OutputStream out) throws IOException { byte b[] = new byte[1024];//暂存容器 RandomAccessFile raf = new RandomAccessFile(targetFile, "r");//负责读取数据 if (blockIndex == 1) {//第一块 int n = 0; long readLength = 0;//记录已读字节数 while (readLength <= blockSize - 1024) {//大部分字节在这里读取 n = raf.read(b, 0, 1024); readLength += 1024; out.write(b, 0, n); } if (readLength <= blockSize) {//余下的不足 1024 个字节在这里读取 n = raf.read(b, 0, (int)(blockSize - readLength)); out.write(b, 0, n); } } else if (blockIndex < blockNumber) {//既不是第一块,也不是最后一块 raf.seek(GlobalConstant.CLOUD_API_LOGON_SIZE * (blockIndex - 1));//跳过前[块数*固定大小 ]个字节 int n = 0; long readLength = 0;//记录已读字节数 while (readLength <= blockSize - 1024) {//大部分字节在这里读取 n = raf.read(b, 0, 1024); readLength += 1024; out.write(b, 0, n); } if (readLength <= blockSize) {//余下的不足 1024 个字节在这里读取 n = raf.read(b, 0, (int)(blockSize - readLength)); out.write(b, 0, n); } } else {//最后一块 raf.seek(GlobalConstant.CLOUD_API_LOGON_SIZE * (blockIndex - 1));//跳过前[块数*固定大小 ]个字节 int n = 0; while ((n = raf.read(b, 0, 1024)) != -1) { out.write(b, 0, n); } } //TODO 最后不要忘掉关闭out/raf } @Override public String getCharset() { // TODO Auto-generated method stub return null; } @Override public String getTransferEncoding() { // TODO Auto-generated method stub return "binary"; } @Override public String getFilename() { // TODO Auto-generated method stub return fileName; } @Override public long getContentLength() { // TODO Auto-generated method stub return blockSize; } }
在自定义的 HttpComponents/HttpClient 工具类 HttpClient4Util 里进行分块上传的封装:
public static String restPost(String serverURL, File targetFile,Map<String, String> mediaInfoMap){ String content =""; try { DefaultHttpClient httpClient = new DefaultHttpClient(); HttpPost post = new HttpPost(serverURL +"?"); httpClient.getParams().setParameter("http.socket.timeout",60*60*1000); MultipartEntity mpEntity = new MultipartEntity(); List<String> keys = new ArrayList<String>(mediaInfoMap.keySet()); Collections.sort(keys, String.CASE_INSENSITIVE_ORDER); for (Iterator<String> iterator = keys.iterator(); iterator.hasNext();) { String key = iterator.next(); if (StringUtils.isNotBlank(mediaInfoMap.get(key))) { mpEntity.addPart(key, new StringBody(mediaInfoMap.get(key))); } } if(targetFile!=null&&targetFile.exists()){ ContentBody contentBody = new FileBody(targetFile); mpEntity.addPart("file", contentBody); } post.setEntity(mpEntity); HttpResponse response = httpClient.execute(post); content = EntityUtils.toString(response.getEntity()); httpClient.getConnectionManager().shutdown(); } catch (Exception e) { e.printStackTrace(); } System.out.println("=====RequestUrl==========================\n" +getRequestUrlStrRest(serverURL, mediaInfoMap).replaceAll("&fmt=json", "")); System.out.println("=====content==========================\n"+content); return content.trim(); }
其中 "file" 是分块上传服务器对分块文件参数定义的名字。细心的读者会发现,整块文件上传直接使用 Apache 官方的 InputStreamBody,而分块才使用自定义的 BlockStreamBody。
最后调用 HttpClient4Util 进行上传:
public static Map<String, String> uploadToDrive( Map<String, String> params, String domain) { File targetFile = new File(params.get("filePath")); long targetFileSize = targetFile.length(); int mBlockNumber = 0; if (targetFileSize < GlobalConstant.CLOUD_API_LOGON_SIZE) { mBlockNumber = 1; } else { mBlockNumber = (int) (targetFileSize / GlobalConstant.CLOUD_API_LOGON_SIZE); long someExtra = targetFileSize % GlobalConstant.CLOUD_API_LOGON_SIZE; if (someExtra > 0) { mBlockNumber++; } } params.put("blockNumber", Integer.toString(mBlockNumber)); if (domain != null) { LOG.debug("Drive---domain=" + domain); LOG.debug("drive---url=" + "http://" + domain + "/sync" + GlobalConstant.CLOUD_API_PRE_UPLOAD_PATH); } else { LOG.debug("Drive---domain=null"); } String responseBodyStr = HttpClient4Util.getRest("http://" + domain + "/sync" + GlobalConstant.CLOUD_API_PRE_UPLOAD_PATH, params); ObjectMapper mapper = new ObjectMapper(); DrivePreInfo result; try { result = mapper.readValue(responseBodyStr, ArcDrivePreInfo.class); } catch (IOException e) { LOG.error("Drive.preUploadToArcDrive error.", e); throw new RtuploadException(GlobalConstant.ERROR_CODE_13001);// TODO } // JSONObject jsonObject = JSONObject.fromObject(responseBodyStr); if (Integer.valueOf(result.getRc()) == 0) { int uuid = result.getUuid(); String upsServerUrl = result.getUploadServerUrl().replace("https", "http"); if (uuid != -1) { upsServerUrl = upsServerUrl + GlobalConstant.CLOUD_API_UPLOAD_PATH; params.put("uuid", String.valueOf(uuid)); for (int i = 1; i <= mBlockNumber; i++) { params.put("blockIndex", "" + i); HttpClient4Util.restPostBlock(upsServerUrl, targetFile, params);// } } } else { throw new RtuploadException(GlobalConstant.ERROR_CODE_13001);// TODO } return null; }
其中 params 这个 Map 里封装的是服务器分块上传所需要的一些参数,而上传块数也在这里进行确定。
本文中的示例经本人测试能够上传大文件成功,诸如 *.mp4 的文件上传成功没有出现任何问题。如果读者朋友测试时遇到问题无法上传成功,请在博客后跟帖留言,大家共同交流下。本文示例肯定还存在很多不足之处,如果读者朋友发现还请留言指出,笔者先行谢过了。
相关推荐
完整的java大文件分块上传支持断点续传,包含jar包,可以直接导入eclipse使用。
2、支持分块上传 3、支持多线程 4、支持文件秒传 5、支持显示上传进度 6、支持图片预览 7、支持暂停上传 8、拖拽上传 文件列表: (1)index.html是演示上传的 (2)server/webup.aspx是后台接收上传的(另外两ashx是...
java多线程加队列上传文件_后台处理
本大文件分块上传demo项目基于Java和Vue开发,包含644个文件,包括Java源代码、Vue组件、SVG图形、JavaScript脚本、XML配置文件、VM虚拟机文件、SCSS样式表、BAT批处理文件、PNG图片、YAML配置文件。系统实现了大...
一个即开即用的大文件上传代码示例,后端为springboot,前段为vue.js+elementui,里面带有sql文件,项目时可以跑通的
上传的是前端的vue界面代码加codorva支持的分块上传代码,代码是针对移动端的(安卓和ios都可以,用的cordova工具),本来想在网上搜个cordova的分块案例,结果没有,就使劲儿研究了一下,写了个分块上传的粗糙代码...
现公开其源代码,供初学者学习。 源代码可自由传播和修改,传播和发布时请注明如下作者信息: Auther: Alan Gao Blog:http://blog.csdn.net/cgaolei 运行说明: 解压后运行:java -jar Tetrix.jar即可。运行后按F2...
前端Javascript+Html5+后端PHP分块上传文件,PHP分块上传大文件,该项目可以正常运行,入口为index.html,需要正确配置fileDir的读写权限 目前有测试过上传1.5G左右的没有问题(未测试更大的文件),理论上更大的...
使用Java远程上传压缩包到服务器,或者在服务器上拉去压缩包或者文件,在服务器上创建目录。
本人初步测试暂没发现什么问题,如果有什么问题可以给我邮箱留言,pengdaibingjy@163.com
可自己修改上传的文件格式,大小,分块的大小。
基于Hadoop的分布式文件系统,使用Java语言开发实现了一个本地文件管理系统,其中文件存在于HDFS集群中,通过Java开发的客户端软件进行管理,其功能包括:1、文件分块、加密并上传待HDFS文件系统 2、文件块下载、...
Java实现文件分割与合并,初级开发人员学习
本大文件分块上传断点续传处理器基于Netty和WebSocket实现,包含41个文件,包括Java源代码、XML配置文件、LICENSE文件、Markdown文档、Properties配置文件和HTML页面。系统界面友好,功能完善,适合用于大文件的上传...
Asp.net 分块上传大文件的源代码,Demo Sample
MVc大文件分块上传 源码描述: 一、源码特点 本代码使用HTML5特性,使用js对文件先进行分块,然后异步上传至服务器 二、源码介绍 大文件分块上传 三、注意事项 开发环境为Visual Studio 2017,无数据库,框架版本...
对原资源 模拟文件系统(Java版)>>进行了修复,修复了磁盘分块的bug,添加了写回硬盘的功能。这是一个用Java实现的一个虚拟文件系统,支持多用户使用,模拟了数据分块,实现了一些基本的文件目录操作,如创建目录,...
文件分块上传保存类库 最低支持.net 2.0 文件分块上传保存类库 最低支持.net 2.0