环境描述
AIX5308、WebLogic9.2 MP3集群(6应用节点,1管理节点,1集群分发节点)
JDK:IBMJava5 64-bit JDK (Service Refresh SR6b + IZ08455)
JVM:-Xms2048M –Xmx2048M
Patch ID: NGZ8
Performance Pack:server/native/aix/ppc64/libmuxer.so
系统使用过程中,平均每一个月至少宕机一次,表现为WebLogic服务节点呈挂死现象,业务系统不能使用,只能重启服务节点后系统方能使用,并且在业务系统使用过程中,速度达不到理想的效果。
故障分析1、
WebLogic服务节点挂机现象,经检
查WebLogic日志,发现在服务节点挂机之前有出“java/lang/OutOfMemoryError”等报错,同时domains目录下也生成有javacore、heapdump等文件。
l
JVM内存使用情况
***WARNING*** Java heap is almost exhausted : 0% free Java heap
Dump Event "systhrow" (00040000) Detail "java/lang/OutOfMemoryError" received
Free Java heap size: 9,664 bytes
Allocated Java heap size: 4,294,967,296 bytes
目前分配给Server的4G内存已全部使用,但又未得到新的内存,出现了OutOfMemoryError
l
线程使用情况
从线程使用情况看,只有个别线程正在运行,其它线程均在等待或被阻塞。
而运行的线程正在进行数据据访问操作
l
检查内存使用情况
在重新调整JVM为1G的情况下,分析了内存再次溢出的DUMP文件,从下图看出有存内存泄漏问题,而且情况较为严重,一个class共消耗内存670M,这个泄漏对象当前正在进行JDBC数据访问操作。
在JVM为1G的条件下,根据分析结果表明,目前内存泄漏问题主要表现在两个地方:
1)对象com.XXXX.XXXX.XXXX.XXXX.model.DefectQueryVO
此对象分别创建了36414次、1239307次。
2)
一系列JDBC操作,这个操作说明在进行数库访问、数据交换。
因此已建议开发商软件工程师检查程序并进行优化。
故障处理结果
将相应的表进行分区处理,优化了数据库,后来使用正常。
分享到:
相关推荐
处理weblogic宕机,消除内存溢出或者栈溢出问题
本文主要是本人在实际的生产环境中遇到WebLogic宕机问题,经过自己的经验整理而总结的文档,对从事中间件的人将会是很好的参考。
服务器宕机是一种常见的IT灾难,它可能会导致业务中断、数据丢失和经济损失。因此,拥有一个完善的服务器故障应急预案对于企业的正常运营至关重要。本文将讨论服务器宕机的原因、备份和冗余措施、应急预案的实施等...
RAC节点宕机故障分析
mysql主备机宕机自动切换
ORACLE数据库一次意外宕机的分析处理实记(ora-1578)[文].pdf
基于Nmon的PowerHA宕机故障分析.docx
tomcat宕机重启脚本,比较简单的一种设置
记录一次CentOS7因断电导致宕机的修复过程
这一份文档是不错的资源,永不宕机的服务器
如发生在 mysql 软件可承受力够但是服务器硬件,或者其他服务导致的 宕机 又或者 MYSQL 参数配置过大或者参数配置不合理...,出现宕机的可能多种多样,本文档主要体现的是宕机后可能出现的问题和后遗症较大的情况是什么
宕机没有任何好处——POWER7 能够确保宕机不影响您的业务
宕机检测工具,可进行多台服务器,多IP,多个业务端口的检测。适合用于监视集群中各个节点是否正常工作。
主要介绍了nginx负载均衡配置,宕机自动切换方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
手把手教你如何在gitlib服务器宕机情况下,恢复代码仓库,自己在实际工作中总结的经验,如有问题可联系zhang_x_j_3166@163.com
在重新调整JVM为1G的情况下,分析了内存再次溢出的DUMP文件,从下图看出有存内存泄漏问题,而且情况较为严重,一个class共消耗内存670M,这个泄漏对象当前正在进行JDBC数据访问操作。 在JVM为1G的条件下,根据分析...
java监听Tomcat是否宕机 可以重启
Sybase数据库宕机处理步骤,适合刚开始入手的初学者。
由于项目需要,编写基于zookeeper集群监测服务器宕机情况,并发邮件通知代码;实现很简单,编写了客户端和服务端,基于maven实现,代码方面修改zookeeper ip地址,需要部署的服务器名和邮件信息即可实现。直接打包...
部署在winserver的c盘/program file/mail下,自动通过outlook给自己发送邮件,可在outlook设置收到邮件后保存一个savelog.txt的标记,脚本根据是否有savelog以及发邮件是否成功,判断服务器是否宕机。