redis 改版的项目上线有两个月了,记录一下redis 相关的经验,也给大家一个参照:
我们的redis server是一主一从,使用R710的机器,8核心,24G内存; 每天约插入200万左右的数据,现在库里有3000万条纪录,占用了9G的内存;由于现在每天内存增长太快,担心很快会无法负载,因此写了脚本每天将过期数据删除;
现在运行中的问题:
1.redis运行基本稳定,从没有自己中断过服务,php脚本去set的话大概1秒钟能设置1万条小数据,并没有官方给出的数据高;但是修改配置后大重启服务时大概需要1到2分钟才能完全将硬盘中的数据加载到内存中去,在加载完之前,redis不能提供服务;
2.redis的默认配置中,每60秒如果纪录更改数达到1万条就需要dump到硬盘中去,但实际上由于超过了这个数,我们的redis几乎不停地在
dump数据到硬盘上;dump数据到硬盘时,我估计为了达到一个原子的效应,避免数据丢失,redis是先把数据dump到一个临时文件,然后重命名为
你在配置文件设定的数据文件名.而前面说到,加载数据要1到2分钟,dump数据应该也在1分钟左右吧;dump出来的文件差不多1到2个G;这样,服务
器几乎一直保持着每分钟写一个2G的文件的这种IO的负载;磁盘基本不闲着;
3.还是在dump中,除开磁盘不闲着以外,CPU也一路飙升:redis是fork一个子进程来dump数据到硬盘,原有进程占用30%+的CPU,而dump数据的子进程单独享用用了一个CPU核心,cpu占用100%;
4. redis在dump数据的时候,是fork子进程,这样产生一个问题:redis本向占用了9G的内存,在dump数据时又fork一个进程,子进程继承了内存分配,也占用了9G的内存….redis一下子占用了18G的内存了;
发现这些问题后,我修改了redis的配置文件,设置为30分钟内只要有一次写修改就dump数据,这样系统负载大幅减轻了.
处于设想中的想法:
主redis并不dump数据,不管写多少次都不dump到硬盘,或是这个dump的时间非常长;从redis则主要承担合理地dump数据到硬盘以起备份作用;主redis启动时先从从redis中scp或是ftp download数据回来;有待后续验证;
分享到:
相关推荐
redis运维之道
redis开发运维工具手册,适用于redis开发和运维人员。
redis运维之道.pdfredis运维之道.pdfredis运维之道.pdf
新浪redis运维实战经验分享,全国最大的redis集群
⾯面临的问题: 单机多实例的部署和管理成本增⼤大! 不得不⾯面对单机多版本的兼容问题! storage vs cache,需求变化多样! 需要⼯工具和流程来减少DBA误操作! 遇到故障需要能快速恢复服务
redis 开发运维指南 全套宝典 包含开发标准开发设计规范,上线部署规划 常见问题处理 高可用及集群 开发运维人员的必备宝典
Redis运维重建命令
本资源包含两个部分的内容:一本《新浪_杨海朝_redis运维之道》,这是个ppt,让你在宏观上了解redis的部署架构; 一本《新浪_杨海朝_redis经验谈》,这个写的比较详细,涉及前边ppt很多细节实现。 读者最好两本一起...
揭示redis在运维上的应用
新浪Redis运维实践.pdf
大数据与云计算培训学习资料 redis运维之道 共26页.pptx
redis运维与开发(带书签),redis实战 (带书签)redis运维与开发(带书签),redis实战 (带书签)
redis开发与运维 比较好的redis入门书 讲的很详细 !!!!!
《redis运维与开发》读书笔记 (1)Redis-cli • -h 服务端ip • -p 端口 • -r (repeat)将命令执行多次。redis-cli -r 3 ping • -i (interval)每个几秒执行几次。redis-cli -r 5 -i 1 ping • -a (auth)...
redis完整版,你还在等什么,快来下载吧,如此便宜的好东西
Redis开发运维实践指南电子书 支持PDF/mobi/epub多种格式
REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供...
阿里云 专有云企业版 V3.6.2 云数据库KVStore for Redis 运维指南 - 20181228.pdf
阿里云 专有云企业版 V3.6.1 云数据库KVStore for Redis 运维指南 - 20181105.pdf
阿里云 专有云企业版 V3.6.0 云数据库KVStore for Redis 运维指南 - 20180824.pdf