Redis主从同步分析
一、Redis主从同步原理
1.1 Redis主从同步的过程
配置好slave服务器连接的master后,slave会建立和master的连接,然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接,master都会启动一个后台进程,将数据库快照保存到文件中.同时master主进程会开始收集新的写命令并缓存起来。当后台进程完成写文件后,master就将快照文件发送给slave,slave将文件保存到磁盘上,然后加载到内存将数据库快照恢复到slave上。slave完成快照文件的恢复后,master就会把缓存的命令都转发给slave,slave更新内存数据库。后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 client到master发送的命令使用相同的协议格式。当master和slave的连接断开时,slave可以自动重新建立连接。如果master同时收到多个slave发来的同步连接命令,只会使用启动一个进程来写数据库镜像,然后发送给所有slave。
1.2 Redis主从同步的特点
主从同步具有明显的分布式缓存特点,主要包括这些方面:
1)一个master可以有多个slave,一个slave也可以有多个slave;
2)slave不仅可以连接到master,slave也可以连接其他slave形成树状结构;
3)主从同步不会阻塞master,但是会阻塞slave。也就是说当一个或多个slave与master进行初次同步数据时,master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求;
4)主从同步可以用来提高系统的可伸缩性,我们可以用多个slave专门处理client的读请求,也可以用来做简单的数据冗余或者只在slave上进行持久化从而提升集群的整体性能。
1.3 Redis主动同步设置方法
有两种方式可以用来完成进行主从Redis服务器的同步设置。都需要针对slave服务器上进行,指定slave需要连接的Redis服务器(可能是master,也可能是slave)。
1.3.1 在配置文件中设置
在作为slave的Redis服务器的配置文件(redis.conf)中设置。
slaveof 10.1.1.102 6379 #指定master的ip和端口
很明显,这种设置方式非常简单,但是需要修改配置文件,并且配置文件是在服务器启动时加载的。所以服务器不启动无法修改,操作不灵活。
这种配置方式适合于作为部署时的初始配置。
1.3.2在Redis客户端中进行设置
这里以Redis官方推荐的Jedis为例来说明,后文中的测试也基于Jedis来进行。这里jedis对象实例是属于slave的,参数是服务器的地址和端口。
slaveJdedis.slaveOf("10.1.1.102", 6379); #指定master的ip和端口
slaveJdedis.slaveofNoOne(); #取消指定master,自己成为一个master了。
通过客户端指定的方式,可以方便的修改master和slave服务器的主从关系。所以这种方式非常适合于根据需要在线调整master和slave服务器。
1.3.3 当前主从同步存在的问题
由于master和slave服务器的不是Redis自动选举产生,需要人工参与,因此主从倒换无法自动完成。这样就存在一个问题,什么时候以及由谁来触发倒换。我看了下客户端是没有这个能力的,一定要的话需要自己增加。
Jedis目前随机选择读取的哪台Redis服务器,因此实现自动分布式读取我们需要对Jedis做二次封装。
1) 需要开发一种机制,尽快检测到master和slave的工作状态;
2) 需要定义一种master和slave的自动切换策略;
3) 需要定义一种可以随机读取任何一台Redis服务器的机制;
这些功能都可以在客户端实现,不过效果不会太好。如果服务器自身能够支持就比较完美了,不过从Redis官网的介绍情况来看,好像目前还没有看到有人提这样的需求,也没有这样的规划。
二、Redis主流客户端介绍
在Redis的官方网站,列出了5款Redis的java客户端软件。其中Jedis是Redis官方推荐的java客户端,这款一直有维护并更新。目前服务器最新稳定版本是Redis2.4.17,最新的测试版本Redis 2.6.0 RC7。
2.1 Jedis
Jedis是Redis官方推荐的Java客户端版本。目前最新为Jedis 2.1.0-5版本,完全兼容Redis 2.0.0版本。这个客户端一直都有维护和更新。
2.2 JRedis
JRedis之前很长一段时间没有更新,可以完全兼容Redis 2.0.0版本。今天5月份前做过更新后可以兼容最新的Redis2.6.0测试版本。
2.3 JDBC-Redis
JDBC-Redis是用于Redis这个NoSQL数据库的JDBC驱动。只能下载到2009年3月发布的jdbc-redis_0.1_beta版本,目前已经无人维护了。
2.4 RJC
RJC提供Apache DBCP风格的连接池。1年前已经停止更新,可以完全兼容Redis 2.0.0版本。
2.5 redis-protocol
这个更新是最快和最频繁的,可以兼容最新的Redis 2.6.0版本。不过它定位于完整支持Redis协议,更加高效和Redis服务器进行数据交互。所以,并没有充分发挥redis服务器的功能。
2.6 各个Java客户端总体评价
整体来讲,各个客户端基本都实现了Redis协议协议定义的基本功能。Redis-protocol更新最近对Redis协议的支持最完整;Jedis提供对Redis服务器的更多配置操作,使用起来是最方便的。其他客户端都很少维护,功能也是一般。
如果要少量扩展客户端的功能,基于Jedis来做开发是最快捷的。
如果要最大限制兼容和扩展客户端的功能,基于Redis-protocol是最好的选择。
三、Redis主从同步的使用建议
Redis主从同步在目前所有的Java客户端都支持不好。主要原因应该还是Redis服务器本身的实现机制限制导致的。如果一定要做也是可能的,不过效果可能会打折扣。
3.1 通过封装Jdedis来实现
1)新增一个管理类,负责维护Redis服务器集群的服务器拓扑关系;
2)新增一个监测类,负责监测和维护Redis服务器集群中的服务器运行状态;
3)新增一个Master选择策略类,负责确定master和slave的切换时机,并选择最合适的Redis服务器充当master。
4)新增一个代理类,接管当前的Jedis客户端对Redis服务器的读写操作。应用层通过代理类来使用Jedis客户端。代理类需要保证Redis服务器集群对应用层透明。
相关推荐
内容概要:通过带着读者基于 Redis 分布式消息队列的报文过滤系统的设计与实现过程做了详尽细致的描述。依据 ActiveMQ、Redis、Java、Mybatis 等计算机技术,结合业务分离的项目设计理念和主备部署服务的特点,本...
但是在分布式架构中,我们的服务可能会有n个实例,但线程锁只对同一个实例有效,就需要用到分布式锁—-redis setnx 原理 修改某个资源时, 在redis中设置一个key,value根据实际情况自行决定如何表示 我们既然要通过...
主要介绍了Python实现的redis分布式锁功能,结合实例形式分析了Python操作redis分布式锁与解锁功能相关操作技巧,需要的朋友可以参考下
在应用系统当中,需要确保数据访问所具备的时效性, 将关键性的业务数据全都存储在内存当中。不过如果出现业务 范围持续拓展的情况,只是利用一台机器已然无法实现对全部 关键性业务数据的上传,所以,应该针对...
Python是一种解释型的、面向对象的、带有动态语义的高级程序设计语言。...数据分析和科学计算:Python的数据分析库(如NumPy和Pandas)和科学计算库(如SciPy)可以用于处理和分析大量数据。 人工智能
操作系统:LInux、树莓派、安卓开发、微机操作系统、网络操作系统、分布式操作系统等。此外,还有嵌入式操作系统、智能操作系统等。 网络与通信:数据传输、信号处理、网络协议、网络与通信硬件、网络安全网络与通信...
本源码项目是基于Scrapy和Redis的分布式爬虫设计,包含46个文件,主要使用Python编程语言。该项目实现了使用scrapy_Redis进行分布式爬虫的功能,提高了爬虫的效率和稳定性。通过该项目,开发者可以更方便地管理和...
背景: 在很多互联网产品应用中,有些场景需要加锁处理,比如:秒杀,全局递增ID,楼层生成...接下来对redis实现的分布式锁的逻辑代码进行详细的分析和理解: 1、为避免特殊原因导致锁无法释放, 在加锁成功后, 锁会被
大型SpringMVC,Mybatis,Redis,Solr,Nginx,SSM分布式电商项目视频教程由浅到深的详细讲解了电商项目的搭建,有这方面需求的可以下载
所谓的scrapy-Redis实际上就是scrapy+redis,其中对redis的操作采用redis-py客户端。下面这篇文章详细介绍了Scrapy-redis爬虫分布式爬取的分析和实现,需要的朋友可以参考借鉴,下面来一起看看吧。
Redis从入门到高可用 分布式实战教程,共140多节课程、 掌握redis主从、哨兵、集群 ,参数调优 目录: 9-9 原生安装-1.准备节点.mp4 9-8 原生安装.mp4 9-7 基本架构.mp4 9-6 虚拟槽哈希分布.mp4 9-5 一致性...
14_统计类型分析 15_bitmap日活统计 16_uvpvdau简介 17_去重复统计 18_hyper的基础命令 19_天猫网站首页亿级UV的Redis统计方案 20_GEO简介 21_GEO的命令 22_美团地图位置附近的酒店推送 23_布隆过滤器BloomFilter...
其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始...
其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始...
但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的...
会话管理:在分布式环境下,可用Redis存储用户会话数据,实现状态共享,方便多个服务实例之间的会话同步。 消息队列:Redis支持发布/订阅模式,可用于事件驱动架构,实现异步消息传递。 缺点 复杂性:引入Redis增加...
其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始...
主要对redis 缓存的雪崩,分布式锁做案例分析和实际应用讲解
其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始...