Java压缩技术（一） ZLib

snowolf

浏览: 4381409 次
性别:
来自: 北京

最近访客更多访客>>

zheng12tian

cui2424

wangkaiyang

beifengbei08

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

Java／Compression

Java 面试 DOS Blog 算法

应好友需要，整理一下Java的压缩算法，先从ZLib开始。

相关链接：
Java压缩技术（一） ZLib
Java压缩技术（二） ZIP压缩——Java原生实现
Java压缩技术（三） ZIP解压缩——Java原生实现
Java压缩技术（四） GZIP——Java原生实现
Java压缩技术（五） GZIP相关——浏览器解析
Java压缩技术（六） BZIP2——Commons实现
Java压缩技术（七） TAR——Commons实现

有关ZLib可参见官方主页 http://www.zlib.net/
ZLib可以简单的理解为压缩/解压缩算法，它与ZIP、RAR等归档算法有所不同，与bzip2比较接近。

压缩工具代码如下：

/**
 * 2009-9-9
 */
package org.zlex.commons.io;

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.zip.Deflater;
import java.util.zip.DeflaterOutputStream;
import java.util.zip.Inflater;
import java.util.zip.InflaterInputStream;

/**
 * ZLib压缩工具
 * 
 * @author <a href="mailto:zlex.dongliang@gmail.com">梁栋</a>
 * @version 1.0
 * @since 1.0
 */
public abstract class ZLibUtils {

	/**
	 * 压缩
	 * 
	 * @param data
	 *            待压缩数据
	 * @return byte[] 压缩后的数据
	 */
	public static byte[] compress(byte[] data) {
		byte[] output = new byte[0];

		Deflater compresser = new Deflater();

		compresser.reset();
		compresser.setInput(data);
		compresser.finish();
		ByteArrayOutputStream bos = new ByteArrayOutputStream(data.length);
		try {
			byte[] buf = new byte[1024];
			while (!compresser.finished()) {
				int i = compresser.deflate(buf);
				bos.write(buf, 0, i);
			}
			output = bos.toByteArray();
		} catch (Exception e) {
			output = data;
			e.printStackTrace();
		} finally {
			try {
				bos.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		compresser.end();
		return output;
	}

	/**
	 * 压缩
	 * 
	 * @param data
	 *            待压缩数据
	 * 
	 * @param os
	 *            输出流
	 */
	public static void compress(byte[] data, OutputStream os) {
		DeflaterOutputStream dos = new DeflaterOutputStream(os);

		try {
			dos.write(data, 0, data.length);

			dos.finish();

			dos.flush();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	/**
	 * 解压缩
	 * 
	 * @param data
	 *            待压缩的数据
	 * @return byte[] 解压缩后的数据
	 */
	public static byte[] decompress(byte[] data) {
		byte[] output = new byte[0];

		Inflater decompresser = new Inflater();
		decompresser.reset();
		decompresser.setInput(data);

		ByteArrayOutputStream o = new ByteArrayOutputStream(data.length);
		try {
			byte[] buf = new byte[1024];
			while (!decompresser.finished()) {
				int i = decompresser.inflate(buf);
				o.write(buf, 0, i);
			}
			output = o.toByteArray();
		} catch (Exception e) {
			output = data;
			e.printStackTrace();
		} finally {
			try {
				o.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}

		decompresser.end();
		return output;
	}

	/**
	 * 解压缩
	 * 
	 * @param is
	 *            输入流
	 * @return byte[] 解压缩后的数据
	 */
	public static byte[] decompress(InputStream is) {
		InflaterInputStream iis = new InflaterInputStream(is);
		ByteArrayOutputStream o = new ByteArrayOutputStream(1024);
		try {
			int i = 1024;
			byte[] buf = new byte[i];

			while ((i = iis.read(buf, 0, i)) > 0) {
				o.write(buf, 0, i);
			}

		} catch (IOException e) {
			e.printStackTrace();
		}
		return o.toByteArray();
	}
}

测试用例代码如下：

/**
 * 2009-9-9
 */
package org.zlex.commons.io;

import static org.junit.Assert.*;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;

import org.junit.Test;

/**
 * ZLib压缩测试用例
 * 
 * @author <a href="mailto:zlex.dongliang@gmail.com">梁栋</a>
 * @version 1.0
 * @since 1.0
 */
public class ZLibUtilsTest {

	@Test
	public final void testBytes() {
		System.err.println("字节压缩／解压缩测试");
		String inputStr = "snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org";
		System.err.println("输入字符串:\t" + inputStr);
		byte[] input = inputStr.getBytes();
		System.err.println("输入字节长度:\t" + input.length);

		byte[] data = ZLibUtils.compress(input);
		System.err.println("压缩后字节长度:\t" + data.length);

		byte[] output = ZLibUtils.decompress(data);
		System.err.println("解压缩后字节长度:\t" + output.length);
		String outputStr = new String(output);
		System.err.println("输出字符串:\t" + outputStr);

		assertEquals(inputStr, outputStr);
	}

	@Test
	public final void testFile() {
		String filename = "zlib";
		File file = new File(filename);
		System.err.println("文件压缩／解压缩测试");
		String inputStr = "snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org";
		System.err.println("输入字符串:\t" + inputStr);
		byte[] input = inputStr.getBytes();
		System.err.println("输入字节长度:\t" + input.length);

		try {

			FileOutputStream fos = new FileOutputStream(file);
			ZLibUtils.compress(input, fos);
			fos.close();
			System.err.println("压缩后字节长度:\t" + file.length());
		} catch (Exception e) {
			fail(e.getMessage());
		}

		byte[] output = null;

		try {
			FileInputStream fis = new FileInputStream(file);
			output = ZLibUtils.decompress(fis);
			fis.close();

		} catch (Exception e) {
			fail(e.getMessage());
		}
		System.err.println("解压缩后字节长度:\t" + output.length);
		String outputStr = new String(output);
		System.err.println("输出字符串:\t" + outputStr);

		assertEquals(inputStr, outputStr);
	}
}

输入结果

字节压缩／解压缩测试
输入字符串:	snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org
输入字节长度:	59
压缩后字节长度:	39
解压缩后字节长度:	59
输出字符串:	snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org
文件压缩／解压缩测试
输入字符串:	snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org
输入字节长度:	59
压缩后字节长度:	39
解压缩后字节长度:	59
输出字符串:	snowolf@zlex.org;dongliang@zlex.org;zlex.dongliang@zlex.org

应该怎么计算呢？原数据长度59字节，压缩后39字节，大约是33％的压缩率！

ZLib压缩对大字节数据压缩，才能反映出压缩效果。

先占个位儿，回头细致整理！

26
顶

6
踩

分享到：

登高远望 | 青蛙效应

2009-09-09 13:09
浏览 62071
评论(20)
分类:编程语言
查看更多

20 楼安静听歌 2015-09-07

logicman 写道

在调用int i = decompresser.inflate(buf)时，解压缩实现会有异常。异常信息如下：
java.util.zip.DataFormatException: incorrect header check
at java.util.zip.Inflater.inflateBytes(Native Method)
at java.util.zip.Inflater.inflate(Unknown Source)
at java.util.zip.Inflater.inflate(Unknown Source)
at ncepu.edu.cn.ws.test.ui.PerformanceView.decompress(PerformanceView.java:113)
at ncepu.edu.cn.ws.test.ui.PerformanceView$1.mouseUp(PerformanceView.java:210)
at org.eclipse.swt.widgets.TypedListener.handleEvent(TypedListener.java:220)
at org.eclipse.swt.widgets.EventTable.sendEvent(EventTable.java:84)
at org.eclipse.swt.widgets.Widget.sendEvent(Widget.java:1053)
at org.eclipse.swt.widgets.Display.runDeferredEvents(Display.java:4169)
at org.eclipse.swt.widgets.Display.readAndDispatch(Display.java:3758)
at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine$9.run(PartRenderingEngine.java:1053)
at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine.run(PartRenderingEngine.java:942)
at org.eclipse.e4.ui.internal.workbench.E4Workbench.createAndRunUI(E4Workbench.java:86)
at org.eclipse.ui.internal.Workbench$5.run(Workbench.java:588)
at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
at org.eclipse.ui.internal.Workbench.createAndRunWorkbench(Workbench.java:543)
at org.eclipse.ui.PlatformUI.createAndRunWorkbench(PlatformUI.java:149)
at ncepu.edu.cn.ws.test.Application.start(Application.java:20)
at org.eclipse.equinox.internal.app.EclipseAppHandle.run(EclipseAppHandle.java:196)
at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.runApplication(EclipseAppLauncher.java:110)
at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.start(EclipseAppLauncher.java:79)
at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:353)
at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:180)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.eclipse.equinox.launcher.Main.invokeFramework(Main.java:629)
at org.eclipse.equinox.launcher.Main.basicRun(Main.java:584)
at org.eclipse.equinox.launcher.Main.run(Main.java:1438)
at org.eclipse.equinox.launcher.Main.main(Main.java:1414)[align=left][/align]

我也出现这种问题了，，，

19 楼 logicman 2014-08-11

18 楼 itlooker 2012-09-28

[b][/b] 领教了...

17 楼 snowolf 2011-06-09

zaze8736 写道

小弟初学,楼主能不能回答一下，为什么这个类是个抽象类呢？

工具类，又是一堆静态方法，防止实例化！

16 楼 zaze8736 2011-06-08

小弟初学,楼主能不能回答一下，为什么这个类是个抽象类呢？

15 楼 aofeng 2010-04-18

snowolf 写道

qzlcf 写道

10M以上的好像就会报java.lang.OutOfMemoryError: Java heap space错误

感谢提醒，有待对代码进一步精准！

最近在研究MD5、SHA对ISO做数字摘要，发现达到GB单位的时候也会报java.lang.OutOfMemoryError: Java heap space错误

那是你一次性读入所有内容进行计算，应该分多次读入内容更新计算的方式进行。我已经测试过用8GB的文件进行MD5，SHA的计算，没有问题的。

14 楼 snowolf 2009-12-25

zjb10000 写道

关于压缩String的问题(补充)：

程序中有String str = "中文.....";

用上面的是会出现乱码的即便是getBytes("UTF-8")；

考虑用DeflaterOutputStream

可能和你的Eclipse环境设置有关，本机测试中文无乱码问题。如果确实如你所说，请提供完整代码！我来测试！

13 楼 zjb10000 2009-12-24

关于压缩String的问题(补充)：

程序中有String str = "中文.....";

用上面的是会出现乱码的即便是getBytes("UTF-8")；

考虑用DeflaterOutputStream

12 楼 javaz 2009-12-16

找了个遍就看到这一篇关于压缩的。强烈要求LZ继续跟进。

11 楼 javaz 2009-12-16

嘿嘿，过来学习了。

10 楼 tianshiyeben 2009-09-16

学习了楼主谢谢希望楼主继续发这样的帖子研究下呵呵

9 楼 whaosoft 2009-09-13

又学习了呵呵 thx

8 楼 zhangli123123 2009-09-11

好東西，從來沒有看到過！！！！！

7 楼 snowolf 2009-09-11

qzlcf 写道

10M以上的好像就会报java.lang.OutOfMemoryError: Java heap space错误

感谢提醒，有待对代码进一步精准！

最近在研究MD5、SHA对ISO做数字摘要，发现达到GB单位的时候也会报java.lang.OutOfMemoryError: Java heap space错误

6 楼 qzlcf 2009-09-11

10M以上的好像就会报java.lang.OutOfMemoryError: Java heap space错误

5 楼 mumianiishiwo 2009-09-11

Api中很少见的一个类，谢谢lz的提醒。

4 楼 elementstorm 2009-09-10

好东西啊,第一次接触,赶紧的收藏掉,说不定以后就碰上2楼那样的尴尬事

3 楼 snowolf 2009-09-09

onlysoymilk 写道

去年面试的时候被问到怎么用Java来压缩项目中使用到得图片，听到这问题就傻了，从来没有涉及过压缩技术的处理，要是LZ早点整理就好了!

呵呵，面试嘛！要是面试的时候你啥都会，你是不是会有点失望呢？！

2 楼 onlysoymilk 2009-09-09

去年面试的时候被问到怎么用Java来压缩项目中使用到得图片，听到这问题就傻了，从来没有涉及过压缩技术的处理，要是LZ早点整理就好了!

1 楼 javaz 2009-09-09

第一个留言！！

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论