我们游戏在开心网上线之后,最高有一千多的同时在线人数,不过好景不长,有几天晚上8-10点之间,发生了所有玩家被踢下线的情况。
一次发生在晚上9点左右,此时人数在持续上升,突然发生玩家全部掉线,当时几个同事都在现场,查看数据库状态show processlist,发现有几百个请求正在进行中,有几张myisam表处于lock状态,试图重启数据库,不过非常缓慢,查看tomcat日志发现,玩家掉线这段时间,基本不刷什么日志了,之前我们将web应用的session过期时间设置成3分钟,这段时间内如果没有玩家访问tomcat的话,session都将过期,因此所有玩家都被踢下线了,当时重启了mysql,恢复正常,此时已经10点多,玩家继续登录的不多,因此问题没有在发生。
后来又过了几天,悲剧的事情继续上演,晚上8点左右服务器在线800多人的时候,所有玩家被踢下线,据运维同事反映,mysql状态正常,当时由于不在公司,没法看到当时db的状态,只能去公司分析tomcat日志,发现tomcat有10分钟左右的时间段没有刷日志,之后有大量的乐观锁异常,用jstack查看tomcat进程,发现有将近500个线程在跑,几乎达到了tomcat线程池配置的最大线程数,这种情况很不正常,我们看到其他几个服的tomcat线程在40个左右,为线程池配置的最小值,经过网上查看相关文章了解到,大量线程很容易产生死锁,而且线程间切换的开销也很大,所以初步判断,是线程死锁导致tomcat停止响应,造成了玩家被踢下线。
在之前服务器端spring事务配置中,将事务的timeout时间设置成了无限长,此时当db有lock被阻塞的时候,tomcat的线程一直处于占用状态,而此时玩家不断有请求发送到tomcat,使得tomcat线程数不断增长,达到线程池的最大值,之后无法再处理玩家的请求了。之后将spring事务超时时间设置成了5s,经测试没有大的异常,放到外网之后没有再产生过类似问题,也可能跟人数没有达到当时的高峰有关。
这种情况的发生,一部分是由于tomcat6采用servlet2的机制导致的,老的servlet采用了block io的方法实现,web 容器的线程与应用的线程一致,因此应用发生异常,会影响到tomcat的稳定性。而最新的servlet3.0,引入了异步处理,Servlet 线程不再需要一直阻塞,直到业务处理完毕才能再输出响应,最后才结束该 Servlet 线程。在接收到请求之后,Servlet 线程可以将耗时的操作委派给另一个线程来完成,自己在不生成响应的情况下返回至容器。针对业务处理较耗时的情况,这将大大减少服务器资源的占用,并且提高并发处理速度。应用部分可以自己创建线程池,灵活地处理业务请求。
另外部分原因是mysql瓶颈导致服务器失去响应的,是否需要有一个统一的数据服务器来管理与mysql的连接,这个值得考虑。
1.http://blog.csdn.net/aking21alinjuju/article/details/5583820
2.大宝,网游服务器架构设计.pptx
分享到:
相关推荐
分享一个简单常用的功能,单点登录,也就是我们常说的额互踢下线。简单的说就是账号在其他设备登录时,弹出提示对话框提醒用户重新登录或退出!
Broadcast广播实现强制下线功能,利用广播实现强制下线功能
易语言恶搞QQ下线源码,恶搞QQ下线
Java使用Sa-Token框架完成踢人下线功能.rar
Java后台实现前台下线通知推送,本例采用Servlet实现,简单易懂,有无经验的都易上手,在此感谢大家对我的支持
neobux国外网赚站点用的下线分析器!用了就知道哦!!
迅雷被挤下线可以自动重新登录的程序
发展下线会员代码发展下线会员代码 (1)发展下线会员代码 (1)发展下线会员代码 (1)发展下线会员代码 (1)
实现了Jwt拦截,登录时调用第三方登录接口。登录后会生成JWT-token,把返回的jwt-token放入hearder里面,下次请求插件会解析出加密前的登录信息,放入hearder里面,然后再访问相应的业务系统
基于zookeeper 监控dubbo provider 下线,提供dubbo 服务下线 邮箱预警,对dubbo 代码0入侵,完全独立部署,独立的JAR
q恶搞下线通知无聊的来试试哈 好玩的!!!
单点登录(被挤下线) 所谓的被挤下线功能,即一个...缺点是需要下次请求才知道被踢下线 使用推送。后台可以推送给APP,从而使APP得知已在其他地方登陆,可以及时响应。 使用第三方的监听器。比如集成了环信,环信自
4.21锐捷客户端(支持XP、VISTA、WIN7-32位系统,解决3.95版本出现被管理员强制下线问题)
强制下线功能的源码,在Android Studio下运行
高等教育教学信息化条件下线上教学模式分析.docx
电机下线工艺与技巧.pdf
安卓初学者教程-利用广播实现强制下线功能实例
该算法在对线型无线传感器网络节点定位的横向和纵向误差进行分析的基础上,首先利用差分原理对测量距离进行修正,并使用极大似然估计法进行初步定位;然后应用信标节点构建煤矿井下巷道模型,在该模型下对移动节点进行...
CDH5.9.0集群的节点删除,步骤详细,并附有步骤的截图。
Android中使用广播接收者组件实现简单强迫用户下线功能!