最新文章列表

Redis集群实现原理

        Redis 集群是 Redis 提供的分布式数据库方案,它通过分片(sharding)来进行数据共享,并提供复制和故障转移功能。         节点         一个 Redis 集群通常由多个节点(node)组成。一个节点就是运行在集群模式下的一台 Redis 服务器,Redis 服务器在启动时会根据 cluster-enabled 配置选项来决定是否开启集群模式。     ...
aisxyz 评论(0) 有580人浏览 2019-09-14 12:19

以太坊分片Sharding FAQ

简介 目前,在所有的区块链协议中每个节点存储所有的状态(账户余额,合约代码和存储等等)并且处理所有的交易。这提供了大量的安全性,但极 ...
it_node 评论(0) 有483人浏览 2018-06-10 15:50

MongoDB伪分布集群搭建

OS:CentOS7 MongoDB 版本:3.6 安装  创建Mongo的yum源文件 vi /etc/yum.repos.d/mongodb-org-3.6.repo   替换为阿里源 [mongodb-org-3.6] name=MongoDB Repository baseurl=http://m ...
theseus 评论(0) 有1484人浏览 2018-04-22 16:33

centos下twemproxy安装

1.解压 tar -xvf nutcracker-0.4.1.tar.gz  2.安装 yum install -y libtool cd nutcracker-0.4.1 ./configure make make install  3.配置文件 cp /home/test/nutcracker-0.4.1/conf/nutcracker.yml /etc/twe ...
冰糖葫芦 评论(0) 有947人浏览 2017-07-11 13:36

数据切分

摘录:http://zhengdl126.iteye.com/blog/419850 引言       第1章  引言 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对 ...
zhongmin2012 评论(0) 有360人浏览 2016-05-30 11:27

15.RDD 创建

第15课:RDD创建内幕 1.       RDD的创建方式 Spark应用程序运行过程中,第一个RDD代表了Spark应用程序输入数据的来源,之后通过Trasformation来对RDD进行各种算子的转换,来实现具体的算法 Spark中的基本方式: 1)       使用程序中
zhou_yuefei 评论(0) 有697人浏览 2016-04-23 10:55

14.RDD深度解析

开篇:spark各种库,sparksql,sparkmachicelearning,等这么多库底层都是封装的RDD。意味着 1:RDD本身提供了通用的抽象, 2:spark现在有5个子框架,sql,Streaming,流式处理,机器学习,图计算,sparkR。可以根据具体领域的内容建模,建第6个库,第7个库。必须掌握spark的这个通用抽象基石-RDD.  
zhou_yuefei 评论(0) 有743人浏览 2016-04-22 20:42

Elasticsearch 分布式文档存储

原文链接:http://blog.csdn.net/dm_vincent/article/details/41242565   本文翻译自Elasticsearch官方指南的distributed document store一章。 分布式文档存储 在上一章中, ...
study121007 评论(0) 有909人浏览 2016-04-19 22:44

集群的工作原理(二)

原文链接:http://blog.csdn.net/dm_vincent/article/details/41205325 参考链接:http://es.xiaoleilu.com/020_Distributed_Cluster/20_Add_failover.html   本文翻译自Elasticsearch官方指南的life inside a cluster一章。     增加故 ...
study121007 评论(0) 有717人浏览 2016-04-19 05:49

集群的工作原理(一)

原文链接: http://blog.csdn.net/dm_vincent/article/details/41205207   本文翻译自Elasticsearch官方指南的life inside a cluster一章。 ES就是为高可用和可扩展而生的。扩展可以通过购置性能更强的服务器(垂直扩展或者向上扩展,Vertical Scale/Scaling Up),亦或是通过购置更多的服务器 ...
study121007 评论(0) 有964人浏览 2016-04-19 05:39

Redis demo

下载jedis包(操作Redis的java API)     <dependency>      <groupId>redis.clients</groupId>      <artifactId>jedis</artifactId>      <version>2.6.0</version>    </ ...
jsjrjz08 评论(0) 有479人浏览 2015-10-12 13:40

python序列学习

       我的学习python练习的环境的是ubuntu 14.04操作系统,默认的是安装python2.7。所以一切的练习都是在python2.7上。下面我把学习序列的一些操作和想 ...
studypi 评论(0) 有689人浏览 2015-04-19 12:24

9.Redis 3.0.0 Cluster Redis集群的其他操作

安装部分参考 http://sgq0085.iteye.com/blog/2198597 一.对集群进行重新分片 redis-trib.rb reshard 对集群中共有的16384 slot(哈希槽)重新分片,是Redis集群维护的基础,添加和删除节点都涉及到该部分内容;   1.查看节点状态,slot(哈希槽)状态和节点ID并记录下节点ID ./redis-trib.rb che ...
sgq0085 评论(0) 有3037人浏览 2015-04-03 23:28

MongoDB权威指南_学习笔记3

GirdFS是一种在MongoDB中存储大二进制文件的机制。 mongofiles内置在MongoDB发布版中,可以用来在GridFS中上传、下载、列示、查找或删除文件。 $ echo "Hello World" > foo.txt $ ./mongofiles put foo.txt connected to : 127.0.0.1 added file : { _id ...
forever1121 评论(0) 有521人浏览 2014-09-11 17:37

搜索引擎的分片(shard)和副本(replica)机制

搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。   分片技术为大规模并行索引和搜索提供了支持,极大地提高了索引和搜索的性能,极大地提高了水平扩展能力;   副本技术为数据提供冗余,部分机器故障不影响系统的正常使用,保证了系统的持续高可用。   有2个分片和3份副本的索引结构如下所示:  
yangshangchuan 评论(2) 有3792人浏览 2014-08-13 18:37

Redis入门很简单之七【使用Jedis实现客户端Sharding】

<一>. 背景介绍: 1. sharding机制:即通常所说的“分片”,允许数据存放在不同的物理机器上,  以适应数据量过大的场景,克服单台机器内存或者磁盘空间的限制。而这种“离散式”地存放,对客户端来说是透明的,对客户端来讲,完全看不到这种差别。 2. 常见的内存缓存中间件,比如Memcached支持服务器端Sharding,客户端根本无须关心具体的实现细节。而Redis并不支持服务 ...
Hello_Nick_Xu 评论(5) 有7743人浏览 2014-06-11 00:15

《hadoop权威指南第二版》读书疑问(1)

第二章数据流部分,其中有段描述如下: 最佳分片大小应该与块大小相同,因为它是确保可以存储在单个节点上的最大输入块大小。如果分片跨越两个数据块,那个对任何一个HDFS节点,基本上都不可能同时存储这两个数据块,因为分片中的部分数据需要通过网络传输到map任务节点。   本人刚刚开始学些hadoop,对红色高亮部分不甚了解,望高手指教。   问题补充: 一个节点是否只有一个map任务运行? ...
derekzhi 评论(1) 有907人浏览 2014-04-29 23:05

搭建高可用mongodb集群(四)—— 分片

按照上一节中《搭建高可用mongodb集群(三)—— 深入副本集》搭建后还有两个问题没有解决: 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的时候能否做到自动扩展? 在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构,他不能解决海量数据怎么行!不 ...
lanceyan 评论(0) 有960人浏览 2014-03-31 09:42

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64570) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49874) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37266) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics