- 浏览: 420759 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (269)
- 原创 (7)
- Java (51)
- Java Concurrency (2)
- IDE (16)
- Linux (46)
- Database (23)
- NoSQL (35)
- Web服务器 (23)
- Log日志 (11)
- HTTP (11)
- HTML (2)
- XML (1)
- Test (7)
- Mina (0)
- Amoeba (4)
- Cobar (1)
- 序列化 (2)
- Python (5)
- PHP (1)
- Socket通信 (1)
- Network (3)
- Struts (2)
- Web前端 (10)
- Maven (6)
- SVN (15)
- Json (1)
- XMPP (2)
- Go (1)
- Other (4)
- 未整理 (5)
最新评论
-
u012374672:
[color=darkred][/color][flash=2 ...
Mongo的ORM框架的学习Morphia(annotations) -
b_l_east:
很有问题啊
利用redis的transaction功能,实现分布式下加锁
转自 http://www.bwkeji.com/a/wangzhanjichu/kaifa/20120712/14824.html
一、 Pipeline
官方的申明是:starts a pipeline,which is a very efficient way to send lots of command and read all the responses when you finish sending them。简单点说pipeline实用于批处理惩罚。当有多量的操纵须要一次性履行的时辰,可以用管道。
示例:
Jedis jedis = new Jedis(String, int);
Pipeline p = jedis.pipelined();
p.set(key,value);//每个操纵都发送恳求给redis-server
p.get(key,value);
p.sync();//这段代码获取所有的response
这里我进行了20w次连气儿操纵(10w读,10w写),不消pipeline耗时:187242ms,用pipeline耗时:1188ms,可见应用管道后的机能上了一个台阶。看了代码懂得到,管道经由过程一次性写入恳求,然后一次性读取响应。也就是说jedis是:request response,request response,...;pipeline则是:request request... response response的体式格式。如许无需每次恳求都守候server端的响应。
二、 跨jvm的id生成器
谈到这个话题,起首要知道redis-server端是单线程来处理惩罚client端的恳求的。
如许来实现一个id生成器就很是简单了,只要简单的调用jdeis.incr(key);就搞定了。
你或许会问,incr是原子操纵吗,能包管不会呈现并发题目吗,不是说了吗,server端是单线程处理惩罚恳求的。
三、 【跨jvm的锁实现【watch】【multi】】
起首说下这个题目的应用处景,有些时辰我们营业逻辑是在不合的jvm过程甚至是不合的物理机上的jvm处理惩罚的。如许如何来实现不合jvm上的同步题目呢,其实我们可以基于redis来实现一个锁。
具体事务和请参考文章:redis进修笔记之事务
临时找到三种实现体式格式:
1. 经由过程jedis.setnx(key,value)实现
import java.util.Random;
import org.apache.commons.pool.impl.GenericObjectPool.Config;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.Transaction;
/**
* @author Teaey
*/
public class RedisLock {
//加锁标记
public static final String LOCKED = "TRUE";
public static final long ONE_MILLI_NANOS = 1000000L;
//默认超不时候(毫秒)
public static final long DEFAULT_TIME_OUT = 3000;
public static JedisPool pool;
public static final Random r = new Random();
//锁的超不时候(秒),过期删除
public static final int EXPIRE = 5 * 60;
static {
pool = new JedisPool(new Config(), "host", 6379);
}
private Jedis jedis;
private String key;
//锁状况标记
private boolean locked = false;
public RedisLock(String key) {
this.key = key;
this.jedis = pool.getResource();
}
public boolean lock(long timeout) {
long nano = System.nanoTime();
timeout *= ONE_MILLI_NANOS;
try {
while ((System.nanoTime() - nano) < timeout) {
if (jedis.setnx(key, LOCKED) == 1) {
jedis.expire(key, EXPIRE);
locked = true;
return locked;
}
// 短少憩眠,nano避免呈现活锁
Thread.sleep(3, r.nextInt(500));
}
} catch (Exception e) {
}
return false;
}
public boolean lock() {
return lock(DEFAULT_TIME_OUT);
}
// 无论是否加锁成功,必须调用
public void unlock() {
try {
if (locked)
jedis.del(key);
} finally {
pool.returnResource(jedis);
}
}
}2. 经由过程事务(multi)实现
因为采取第一张办法,第二种跟第三种实现只贴了关键代码,望谅解。^_^
public boolean lock_2(long timeout) { long nano = System.nanoTime();
timeout *= ONE_MILLI_NANOS;
try {
while ((System.nanoTime() - nano) < timeout) {
Transaction t = jedis.multi();
// 开启事务,当server端收到multi指令
// 会将该client的号令放入一个队列,然后依次履行,知道收到exec指令
t.getSet(key, LOCKED);
t.expire(key, EXPIRE);
String ret = (String) t.exec().get(0);
if (ret == null || ret.equals("UNLOCK")) {
return true;
}
// 短少憩眠,nano避免呈现活锁
Thread.sleep(3, r.nextInt(500));
}
} catch (Exception e) {
}
return false;
}3. 经由过程事务+实现
public boolean lock_3(long timeout) { long nano = System.nanoTime();
timeout *= ONE_MILLI_NANOS;
try {
while ((System.nanoTime() - nano) < timeout) {
jedis.watch(key);
// 开启watch之后,若是key的值被批改,则事务失败,exec办法返回null
String value = jedis.get(key);
if (value == null || value.equals("UNLOCK")) {
Transaction t = jedis.multi();
t.setex(key, EXPIRE, LOCKED);
if (t.exec() != null) {
return true;
}
}
jedis.unwatch();
// 短少憩眠,nano避免呈现活锁
Thread.sleep(3, r.nextInt(500));
}
} catch (Exception e) {
}
return false;
}终极采取第一种实现,因为加锁只需发送一个恳求,效力最高。
四、 【redis分布式】
最后一个话题,jedis的分布式。在jedis的源码里发了然两种hash算法(MD5,MURMUR Hash(默认)),也可以本身实现redis.clients.util.Hashing接口扩大。
List<JedisShardInfo> hosts = new ArrayList<JedisShardInfo>(); //server1
JedisShardInfo host1 = new JedisShardInfo("", 6380, 2000);
//server2
JedisShardInfo host2 = new JedisShardInfo("", 6381, 2000);
hosts.add(host1);
hosts.add(host2);
ShardedJedis jedis = new ShardedJedis(hosts);
jedis.set("key", "");
发表评论
-
mongodb 地理位置处理
2016-05-16 13:39 1387我只记录我用到的部分,没有完整分析mongodb对地理位置 ... -
Redis配置文件redis.conf
2014-11-14 14:10 1840# Redis configuration file ex ... -
Redis高可用部署及监控
2014-11-12 13:25 1077一、 Re ... -
JCS官方文档的简单笔记,仅供自己参考
2014-09-26 20:08 7501. 基本配置 jcs.default=DCjcs.de ... -
JCS基本配置
2014-09-26 19:39 9171、默认的内存缓存 ... -
NoSQL解决方案比较(MongoDB vs Redis, Tokyo Cabinet, and Berkeley DB)
2013-09-30 14:20 1312NoSQL解决方案比较 NoSQL Solution: E ... -
morphia与spring的整合
2012-12-07 15:06 1460转自: http://www.blogjava.net/wat ... -
Mongo的ORM框架的学习Morphia(十五)Morphia+spring整合
2012-12-07 15:06 1628转自:http://topmanopensource.itey ... -
Mongo的ORM框架的学习Morphia(十二) morphia的Query和Update
2012-12-07 15:06 1839转自:http://topmanopensource.itey ... -
Mongo的ORM框架的学习Morphia(十) morphia应用
2012-12-05 14:47 1434转自:http://topmanopensource.itey ... -
Mongo的ORM框架的学习Morphia(九) morphia简单使用
2012-12-05 14:44 1345转自 http://topmanopensource.itey ... -
Mongo的ORM框架的学习Morphia(八) morphia数据库访问接口
2012-12-05 14:35 1992转自:http://topmanopensource.itey ... -
Mongo的ORM框架的学习Morphia(annotations)
2012-12-05 14:33 2505一:@Entity的使用 @Entity ... -
Instagram的Redis实践(内存占用优化)
2012-11-30 10:43 1172转自:http://blog.nosqlfan.com/htm ... -
SQL 和Mongo 对比图表
2012-11-28 14:54 2180参看官方说明: http://www.mongodb ... -
MongoDB 入门指南、示例
2012-11-23 10:38 828转自:http://www.cnblogs.com/hoojo ... -
mongodb中使用MapReduce
2012-11-23 10:12 1190MapReduce函数的用法如下: db.users.ma ... -
python的redis用法
2012-11-22 15:48 1142#! /usr/bin/env python #coding ... -
Python连接redis
2012-11-22 15:46 5582一、Redis是流行的NOSQL内存数据库,以Key-Valu ... -
利用redis的transaction功能,实现分布式下加锁
2012-08-29 09:57 2346package memcached; import ja ...
相关推荐
Jedis使用总结【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】.docx
程序采用 python 开发的 Scrapy 框架来开发,使用 Xpath 技术对下载的网页进行提取解析,运用 Redis 数据库做分布式, 设计并实现了针对当当图书网的分布式爬虫程序,scrapy-redis是一个基于redis的scrapy组件,...
该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取。但是...
程序采用 python 开发的 Scrapy 框架来开发,使用 Xpath 技术对下载的网页进行提取解析,运用 Redis 数据库做分布式, 设计并实现了针对当当图书网的分布式爬虫程序,scrapy-redis是一个基于redis的scrapy组件,...
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip 该项目代码主要针对计算机、自动化等相关专业的学生从业者下载使用,项目代码都经过严格调试,确保可以运行!放心下载使用。 也可作为期末课程设计、...
该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取。但是...
程序采用 python 开发的 Scrapy 框架来开发,使用 Xpath 技术对下载的网页进行提取解析,运用 Redis 数据库做分布式, 设计并实现了针对当当图书网的分布式爬虫程序,scrapy-redis是一个基于redis的scrapy组件,...
该组件本质上提供了三大功能: scheduler - 调度器 dupefilter - URL去重规则(被调度器使用) pipeline - 数据持久化 Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取。但是...
redis pipleLine
Redis从入门到高可用 分布式实战教程,共140多节课程、 掌握redis主从、哨兵、集群 ,参数调优 目录: 9-9 原生安装-1.准备节点.mp4 9-8 原生安装.mp4 9-7 基本架构.mp4 9-6 虚拟槽哈希分布.mp4 9-5 一致性...
Redis-PipeLine批量导入.docx
本篇文章主要介绍了Java使用Pipeline对Redis批量读写(hmset&hgetall),具有一定的参考价值,有兴趣的可以了解一下。
RedisPipe - 具有隐式流水线操作的Go开发的高吞吐量Redis客户端
主要给大家介绍了关于Redis利用Pipeline加速查询速度的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
简单介绍 redis pipeline 的机制,结合一段实例说明pipeline 在提升吞吐量方面发生的效用。 案例背景 应用系统在数据推送或事件处理过程中,往往出现数据流经过多个网元; 然而在某些服务中,数据操作对redis 是强...
正好最近有个需求(需要在秒级取值1000+的数据),如果对于传统的单词取值,循环取值,消耗实在是大,有小伙伴可能考虑到多线程,但这并不是最好的解决方案,这里考虑到了redis特有的功能pipeline管道功能。...
kettle如何3秒内写入100万条数据到Redis https://blog.csdn.net/huryer/article/details/106889792
主要介绍了在Redis集群中使用pipeline批量插入的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧