关于大对象的深拷贝，性能如何解决

0 0

关于大对象的深拷贝，性能如何解决10

有个领域对象非常复杂与庞大

目前是使用序列化进行拷贝，然后处理。不过最近由于访问量等因素造成了宕机

，几乎都是这个地方挂了，内存溢出

想问一下还有什么简单实用的拷贝办法？或者不一定拷贝，奇思妙想也额可以。改对象内容是不太可能。
问题补充：
一个对象的copy会导致内存溢出？我觉得很大程度上可能是你写得有问题。建议再好好检查一下。
-----------------------------------
问题不是一个人在使用系统，一并发起来谁知道几个。。。

ByteArrayOutputStream byteOut = new ByteArrayOutputStream();
ObjectOutputStream out = new ObjectOutputStream(byteOut);
out.writeObject(srcObj);
ByteArrayInputStream byteIn =
new ByteArrayInputStream(byteOut.toByteArray());
ObjectInputStream in = new ObjectInputStream(byteIn);
return in.readObject();

还能如何写。。。测试了一下写入，与读出时间比 1：2。缓存一下字节流不知道有没有搞头，哈哈

那就只有进行手动clone了，以前碰到过这问题
-----------------------------------------
手动clone也是痛苦，对象套对象，N层。。。手术量特别大。

无头绪中

问题补充：
其次，我算你的并发有50w，50w的copy，每个对象我算占用内存0.5KB, 也不过256MB，莫非连256M都会导致内存溢出？

更何况，我说的量应该都是大的，50w并发一般是不可能的，一个对象0.5KB也是相当大了。

所以，我说，还是程序的问题。先把对象流手动关闭，试试看再说。
-----------------------------------------

那个流是该关一下,问题是试不了，怕是关键问题不在此。。。。一个对象0。5K？你太小看了，我想你不是电信行业的，可能不太了解，刚才通过任务管理器批量建立对象，粗略算了一下是这个对象70M左右。jvm来不及GC，最终造成这个问题。

机器倒是性能不错了，集群，每台16G内存，16个CPU。

目前考虑一个方案是把大对象分拆小对象进行序列化拷贝，最后组装，用CPU来换内存。小对象JVM比较容易GC

企业应用

2009年7月23日 10:40

kunee
6
0 0 0

7个答案按时间排序按投票排序

0 0

引用

那个流是该关一下,问题是试不了，怕是关键问题不在此。。。。一个对象0。5K？你太小看了，我想你不是电信行业的，可能不太了解，刚才通过任务管理器批量建立对象，粗略算了一下是这个对象70M左右。jvm来不及GC，最终造成这个问题。

机器倒是性能不错了，集群，每台16G内存，16个CPU。

目前考虑一个方案是把大对象分拆小对象进行序列化拷贝，最后组装，用CPU来换内存。小对象JVM比较容易GC

如果说，你的一个对象有70M，那么就算不做对象copy，系统也抗不住什么并发。所以，你一开始把问题定位在对象的copy导致系统内存溢出。这本来就是一个错误。

好好重构，看看有没有什么可以延迟加载的方式，一开始把不需要的数据不放到内存中。真正用的时候在想法子放到内存。

2009年7月23日 19:09

RyanPoy
155
0 0 0

添加评论

0 0

用 hessian 序列化机制试试

2009年7月23日 15:51

pan_java
820
0 0 0

添加评论

0 0

ByteArrayOutputStream byteOut = new ByteArrayOutputStream();
ObjectOutputStream out = new ObjectOutputStream(byteOut);
out.writeObject(srcObj);
ByteArrayInputStream byteIn =
new ByteArrayInputStream(byteOut.toByteArray());
ObjectInputStream in = new ObjectInputStream(byteIn);
return in.readObject();

首先，你的代码很有问题。对象流的关闭在哪做的？没有关闭流，自然有内存泄露的事情发生。

引用

问题不是一个人在使用系统，一并发起来谁知道几个。。。

其次，我算你的并发有50w，50w的copy，每个对象我算占用内存0.5KB, 也不过256MB，莫非连256M都会导致内存溢出？

更何况，我说的量应该都是大的，50w并发一般是不可能的，一个对象0.5KB也是相当大了。

所以，我说，还是程序的问题。先把对象流手动关闭，试试看再说。

2009年7月23日 14:57

RyanPoy
155
0 0 0