突然发现我们的redis 已经用了30G了,好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的,内存已经告竭。幸好上上周公司采购了90G的机器,现在已经零时迁移到其中的一台机器上了。(跑题下,90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器,koding 是个好网站,在线编程IDE。) 但是随着数据量越来越大单机始终无法承受的,改造势在必行。经过初步思考我们得出了很简单的方案 概括起来就是 "内外兼修"
1.内功修炼
先从我们的应用层说起 看看redis 使用情况 ,有没有办法回收一些key ,先进入redis 服务器执行 info ,有删减
1: redis 127.0.0.1:6391> info
2: used_memory_human:35.58G
3: keyspace_hits:2580207188
4: db0:keys=2706740,expires=1440700
目前我们只使用了1个DB 但是key 太多了 有270W个key,已经过期的有144W。第一个想到的就是我勒个去,怎么会有这么多key ,第二个想法就是可能存在过大的key
看看能不能针对过大的key 做优化?可是遗憾的是官方并没有命令显示db 的key 大小,我们只能自己想办法了
Google 一番,发现国外友人已经写好了shell
传送门: https://gist.github.com/epicserve/5699837
可以列出每个key 大小了。可是这并不适用我们,因为我们key 太大了 执行了9个小时都没跑完,无力吐槽了。 其实还有一个选择就是用另外一个工具
传送门:https://github.com/sripathikrishnan/redis-rdb-tools
可惜这个太重了 ,不想麻烦ops ,我们就只能撩起袖子,造轮子。
把shell 代码简单看了下发件DEBUG OBJECT 是个好东西啊 ,google 下发现官网 http://redis.io/commands/object
已经有简单的调试信息了,剩下的就好处理了
1: #coding=utf-8
<!--CRLF-->
2: import redis
<!--CRLF-->
3:
<!--CRLF-->
4: COLOR_RED = "\033[31;49;1m %s \033[31;49;0m"<!--CRLF-->
5:
<!--CRLF-->
6: COLOR_GREED = "\033[32;49;1m %s \033[39;49;0m"<!--CRLF-->
7:
<!--CRLF-->
8: COLOR_YELLOW = "\033[33;49;1m %s \033[33;49;0m"<!--CRLF-->
9:
<!--CRLF-->
10: COLOR_BLUE = "\033[34;49;1m %s \033[34;49;0m"<!--CRLF-->
11:
<!--CRLF-->
12: COLOR_PINK = "\033[35;49;1m %s \033[35;49;0m"<!--CRLF-->
13:
<!--CRLF-->
14: COLOR_GREENBLUE = "\033[36;49;1m %s \033[36;49;0m"<!--CRLF-->
15:
<!--CRLF-->
16:
<!--CRLF-->
17: def getHumanSize(value):<!--CRLF-->
18: gb = 1024 * 1024 * 1024.0
<!--CRLF-->
19: mb = 1024 * 1024.0
<!--CRLF-->
20: kb = 1024.0
<!--CRLF-->
21: if value >= gb:<!--CRLF-->
22: return COLOR_RED % (str(round(value / gb, 2)) + " gb")<!--CRLF-->
23: elif value >= mb:<!--CRLF-->
24: return COLOR_YELLOW % (str(round(value / mb, 2)) + " mb")<!--CRLF-->
25: elif value >= kb:<!--CRLF-->
26: return COLOR_BLUE % (str(round(value / kb, 2)) + " kb")<!--CRLF-->
27: else:<!--CRLF-->
28: return COLOR_GREED % (str(value) + "b")<!--CRLF-->
29:
<!--CRLF-->
30:
<!--CRLF-->
31: month = 3600 * 24 * 30
<!--CRLF-->
32: result = []
<!--CRLF-->
33: client = redis.Redis(host="XXXXX", port=XXXX)<!--CRLF--> <!--CRLF--> <!--CRLF-->
36: client.info()
<!--CRLF-->
37:
<!--CRLF-->
38: count = 0
<!--CRLF-->
39: for key in client.keys('*'):<!--CRLF-->
40: try:<!--CRLF-->
41: count += 1
<!--CRLF-->
42: idleTime = client.object('idletime', key)<!--CRLF-->
43: refcount = client.object('refcount', key)<!--CRLF-->
44: length = client.debug_object(key)['serializedlength']<!--CRLF-->
45: value = idleTime * refcount<!--CRLF-->
46: print "%s key :%s , idletime : %s,refcount :%s, length : %s , humSize :%s" % (count, key, idleTime, refcount, length, getHumanSize(length))<!--CRLF-->
47: except Exception:
<!--CRLF-->
48: pass
<!--CRLF-->写了个简单的python 脚本输出每个key 的大小和idle time,和refer count 。有了这么多数据结合awk 就可以很好的统计每个key 的使用情况。有一点要注意的是这个size 是key 在redis 中的大小,并非实际的大小,这个是经过redis 压缩的。经过分析之后发现不存在过大的key ,但是存在有些key 半年都没有被访问过 Orz 。
接下来就很好处理了,我们为每个key 设置的过期时间,若key 被hit 上则更新这个expire time 。这样可以逐步淘汰冷数据,达到冷热分离
2. 外功修炼
我们对内清理了无效的key,对外我们要做到水平扩展,单机的承载始终有限,于是我们开始了传说中的分布式改造
分布式这东西看起来很唬人做起来更唬人,幸好我们是缓存服务 CAP约束有限。 缓存服务做分布式最好的当然是一致性hash 咯。其实当我们改造完成之后,才发现官方已经准备做这个分布式的缓存体系了(流口水啊) 只是现在还在开发中 给了个备用的响当当的 Twemproxy 奈何我们已经做好了,就先用着,坐等官方测试之后再说
传送门: http://redis.io/topics/cluster-spec
我们实现了数据的平滑迁移,而且对server 的修改实现了最小影响。 因为原来是用的是phpredis 所以就扩展了下,代码可以平滑过渡。
我们自己的实现:https://github.com/trigged/redis_con_hash
其实扯了这么多就是要把redis 的数据分散开,单机的承载始终是个瓶颈,但是redis 在这方面没有Memcached 完善,不过以后会越来越好
相关推荐
大型网站应用,热点数据量往往巨大,几十G上百G是很正常的事儿。由于内存大小的限制,使用一台 Redis 实例显然无法满足需求,这时就需要使用多台 Redis作为缓存数据库。但是如何保证数据存储的一致性呢,这时就需要...
redis-3.0.0.gem 执行gem install redis /usr/local/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- redis (LoadError) from /usr/local/lib/ruby/2.3.0/...
php安装redis扩展包 phpredis-2.2.4.tar.gz phpredis-2.2.4.tar.gz
02、创建6个目录Redis7001、Redis7002、Redis7003、Redis7004、Redis7005、Redis7006 03、把Redis目录下的redis.windows.conf文件分别复制到上创建创建的6个文件夹中 04、修改6个文件夹中的redis.windows.conf文件 ...
Load rld.lua to Redis once (e.g. redis-cli --eval rld.lua). Add this line at the beginning of your Lua script: rld.start(). Run your code as usual (e.g. redis-cli --eval prog.lua). View rld's ...
phpredis 是 php 的一个扩展,是支持redis数据库的中间桥梁
该资源合集内容包括:redis-x64-2.8,与之匹配的扩展文件php_redis.dll和php_igbinary.dll文件,使用php5.6 -ntx(亲测有效,注意文件适用都是nts的)
window版redis Jedis操作redis所需jar包 redis图形化管理工具
redis-cluster-tool 是一个非常便利的 Redis 集群管理工具。help Usage: redis-cluster-tool [-?hVds] [-v verbosity level] [-o output file] [-c conf file] [-a addr] [-i interval] [-p pid file] [-C ...
A C client for Redis 依赖于 c boost 库 It uses anet from Redis itself 在 Linux 上通过 g 的测试 支持分区 标签:Redis
a)了解NoSQL及其产品 b)掌握Redis的安装和启动 c)掌握Redis的数据类型 d)掌握Redis的操作命令 e)掌握JRedis的使用 f)掌握Redis的持久化 g)掌握Redis的replication
SET keyname datalength data (SET bruce 10 paitoubing:保存key为burce,字符串长度为10的一个字符串paitoubing到数据库),data最大不可超过1G。 GET key获取某个key 的value值。如key不存在,则返回字符串“nil”...
$ npm install -g redis-commander $ redis-commander 当前不支持通过yarn安装。 请使用npm作为程序包管理器。 或将Redis Commander作为Docker映像rediscommander/redis-commander (说明如下)。 特征 Web-UI,...
大型网站应用,热点数据量往往巨大,几十G上百G是很正常的事儿。由于内存大小的限制,使用一台 Redis 实例显然无法满足需求,这时就需要使用多台 Redis作为缓存数据库。但是如何保证数据存储的一致性呢,这时就需要...
绝版了的版本的 redis 集群所需的 ruby 包,源自 rubygems 站点。 最新版本的 redis 集群所需的 ruby 包,源自之前的 rubygems 站点
最近遇到一个需求,需要将hive中16亿行数据存储到redis中。数据存储采用hash结构,将16亿行数据根据key离散到32万个hash中。 由于每一行的key是16个字节,数据为1个字节,一开始在预估存储空间为:16亿*(16+1) = 26 ...
Redis配置文件的例子 #单位注意:当需要内存大小时,可以指定 它通常以1k 5GB 4M的形式出现,依此类推: # #1k => 1000字节 #1kb => 1024字节 #1m => 1000000字节 #1mb => 1024 * 1024字节 #1g => ...
使用命令介绍: SETNX SETNX key val 当且仅当key不存在时,set一个key为val的字符串,返回1;若key存在,则什么都不做,返回0。 expire expire key timeout 为key设置一个超时时间,单位为second,超过这个时间...
前言 在业务中,会经常使用 redis 作为后端缓存、存储。如果结构规划不合理、命令使用不规范,会造成...从经验出发: 在qps>5000、容量<50G、存储高频数据时考虑redis;在qps、存储大量低频数 据、需要事务时考虑Mysql。
记录redis-spring-boot-starter