too many open files

服务器自三月份以来持续不正常，经常出现too many open files。手头事情太多，每次出现问题都先重启暂时解决问题。这两天总算静下心来，和老公研究研究服务器到底怎样调优。

首先，用lsof -p <进程号>，查看系统打开了哪些文件，用netstat -an 查看端口使用情况。发现有大量CLOSE_WAIT，上网查资料，说是因服务器发生了socket未关导致的closed_wait发生，致使监听port打开的句柄数到了1024个，且均处于close_wait的状态，最终造成配置的port被占满出现 “Too many open files”，无法再进行通信。tcp_close_wait_interval默认7200(2小时)，建议改小。
#ndd -set /dev/tcp tcp_keepalive_interval 60000

第二，用ulimit -a，可以看到系统参数中open files的大小，默认是256，明显太小。可以设置为unlimited。

第三，检查weblogic的thread count，要根据服务器内存实际情况来设，否则会导致内存溢出。

参考资料：http://hi.baidu.com/hpgood/blog/item/19d509dfd3e53157cdbf1a31.html
http://www.24xuexi.com/w/2011-06-28/93783.html
http://touchmm.iteye.com/blog/1100505

以上所有问题都是老公搞定，so，有个好老公事半功倍。接下来就看看这段时间的运行效果了。