《Redis源码学习笔记》文章列表
由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^
在
主从复制过程中,我们提到过RDB文件,作为Redis持久化方式之一,RDB把数据库某一时刻的内容,也就是
快照,以二进制的方式记录到文件,并且在下次启动的时候可以用来初始化Redis;
RDB最重要的两个过程是rdbSave和rdbLoad,下面我就这两个过程分别叙述;
rdbSave
在具体看rdbSave过程之前,我们先看下RDB文件格式:
我们可以简单思考下,RDB文件协议为什么会那样设计?
1. RDB文件以
"REDIS"开头是为了区分普通文件,这样redis在加载的时候,读取前五个字节就可以判断该文件是否为一个合法的RDB文件;
2. 写明RDB文件版本是因为不同版本之间有一定差异性,根据版本号需要保持向下兼容;
3. 以数据库为单位,存入键值对,因为一个redis实例中,可以包含16个数据库,所以一定要标明该键值对属于哪个数据库,否则无法还原到相应位置;
4. 在写入键值对信息时,超时时间是可选的,标明值类型(value-type)是为了在加载的时候知道这是一个string,还是list或者hashtable;
rdbSave过程就是把redis每一个数据库中的键值对按照上面定义的格式写入文件,伪代码:
def rdbSave(filename):
# 创建临时文件,用于保存rdb数据
tempFile = createTempFile()
rio = rioInitWithFile(tempFile)
# ----------------------------------
# 1.保存RDB文件版本
rdbSaveVersion(rio, "REDIS" + REDIS_RDB_VERSION)
# 2.保存redis所有数据库中的键值对
for db in redisServer.dbs:
# 记录键值对所在数据库
rdbSaveSelectDB(rio, db.num)
# 保存该数据库中所有键值对
for key, val in db.getKeyValuePairs():
expired_time = getExpiredTime(key)
rdbSaveKeyValuePair(rio, key, val, expired_time)
# 3.写入RDB文件结束符
rdbSaveEOF(rio, REDIS_RDB_OPCODE_EOF)
# 4.写入校验和
rdbSaveCkSum(rio)
# ----------------------------------
# 确认数据都被flush到磁盘
fsync()
rename(tempFile, filename)
def rdbSaveKeyValuePair(rio, key, val, expired_time):
if expired_time != -1:
# 过滤过期键
if expired_time < now_time:
return
rdbSaveMillisecondTime(rio, expired_time)
# 保存值类型(list? string? hashtable?)
rdbSaveValueType(rio, val)
# 保存键
rdbSaveKey(rio, key)
# 保存值
rdbSaveValue(rio, val)
更多细节请看:rdb.c/rdbSave函数
触发rdbSave过程,主要有4种方式:
1. SAVE命令
2. BGSAVE命令
3. master接收到slave发来的sync命令
4. 定时save(配置文件中制定)
第一种情况,Redis保存RDB文件是在主进程中进行,所以在这其间,Redis无法响应客户端请求
(再次强调:Redis是单线程Server);第二种情况,Redis fork出一个子进程,然后在子进程中进行rdbSave,因此也就不会阻塞主进程对客户端请求的处理;第三种情况和第四种情况同第二种情况,也是在子进程中进行;
rdbLoad
rdbload过程就比较简单了,它会按照RDB文件协议,把键值对还原到相应的数据库,伪代码:
def rdbLoad(filename):
rio = rioInitWithFile(filename);
# 设置标记:
# a. 服务器状态:rdb_loading = 1
# b. 载入时间:loading_start_time = now_time
# c. 载入大小:loading_total_bytes = filename.size
startLoading(rio)
# ------------------------------------------
# 1.检查该文件是否为RDB文件(即文件开头前5个字符是否为"REDIS")
if !checkRDBHeader(rio):
redislog("error, Wrong signature trying to load DB from file")
return
# 2.检查当前RDB文件版本是否兼容(向下兼容)
if !checkRDBVersion(rio):
redislog("error, Can't handle RDB format version")
return
# 3.读取文件内容,加载键值对
while not end_of_file:
# 每循环一千次就处理一下客户端请求
if loops % 1000 == 0:
processClientRequest()
key, val, expired_time, dbnum = rdbLoadKeyValuePair()
# 过滤过期键
if expired_time != -1 and expired_time <= now_time:
continue
redisServer.db[dbnum].dict.add(key,value)
if expired_time > now_time
redisServer.db[dbnum].expires.add(key, expired_time)
loops = loops + 1
# 4. 校验和
if (!checkCkSum()): return
# ------------------------------------------
# 更新标记:rdb_loading = 0
stopLoading()
触发rdbLoad过程,主要有两种方式:
1. Redis启动时候的初始化;
2. slave接收到master发来的RDB文件;
总结:
1. 了解RDB文件格式;
2. 了解rdbSave和rdbLoad过程以及触发条件;
- 大小: 4.2 KB
分享到:
相关推荐
本文是一篇关于Redis全套学习笔记的文章,主要介绍了Redis的基础知识、数据结构、持久化、集群、高可用、性能优化等方面的内容。通过本文的学习,读者可以全面掌握Redis的使用和应用,提高自己的技术水平和实践能力...
Redis全套学习笔记 完整版pdf.rar set:添加键值对 get:获取值 apend:追价值 strlen:获取值的长度 setnx:key不存在时,设置key的值 incr:原子递增1 decr:原子递减1 incrby/decrby:递增或者递减指定的数字 ...
Redis全套学习笔记-带章节目录
redis的学习笔记
Redis学习笔记.pdf 含目录 #资源达人分享计划#
dump.rdb---
redis源码学习,分享给大家,希望对大家有用
二、 redis学习笔记之数据类型 3 三、 redis学习笔记之排序 11 四、 redis学习笔记之事务 16 五、 redis学习笔记之pipeline 20 六、 redis学习笔记之发布订阅 23 七、 redis学习笔记之持久化 28 八、 redis学习笔记...
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 附件里面包括redis源码,phpredis源码,redis指令及文档
redis相关学习笔记
Redis全套学习笔记,分享的是整理的《Redis 全套学习笔记.pdf》,图文并茂,特别详细,基本上涵盖了 Redis 所有知识点。redis是一个高性能的key-value数据库,它是完全开源免费的,而且redis是一个NOSQL类型数据库,...
学习Redis源码和资料,提供完整的信息供学习.《Redis 源码日志》Redis 事件驱动内部有四个主要的数据结构,分别是:事件循环结构体,文件事件结构体,时间事件结构体和触发事件结构体。
redis学习笔记redis 是一个开源的 key-value 数据库。它又经常被认为是一个数据结构服务器。 因为它的 value 不仅包括基本的 string 类型还有 list,set ,sorted set 和 hash 类型。当 然这些类型的元素也都是 string...
redis详细学习笔记
redis cmd 学习笔记
Redis原理学习笔记
redis源码级别的分析。需要具备c语言基础的开发学习,十分详细,带你全程深入了解redis。
NULL 博文链接:https://xpenxpen.iteye.com/blog/2090620
redis学习笔记