先比较一下Hadoop。
Hadoop 架构:
Cache Pool 架构:
Cache Server和Hadoop的Data Node是相似的,Cache Manager和Name Node对应,不过也有很多差异:
- Cache Pool要承受大并发访问,且每条数据都非常小,因此不可能再做一个Name Node来保存元数据,而是使用Consistent Hashing完成数据定位。
- Cache Pool数据量相对较小,一个集群几百GB左右,单台Cache Server只有4-16GB,迁移性能非常高,所以任何一个节点调整都会有1/N数据被迁移,容量约等于单台Server的容量。新增节点时迁移相对比较慢,有大量数据被从多个节点迁移到这个新节点上,迁移完成会并发删除旧服务器上的数据;删除节点则会引起多个节点间的并发数据迁移,迁移效率较高,同时可能会造成每台服务器上有约1/N数据被LRU淘汰。
- Cache Manager只是个管理器,它只完成节点监控、Cache Server划分、数据迁移控制、同步配置等功能,所有数据访问都与它无关。它是由多台服务器组成的高可用性小集群,使用简单决策过程产生Master,其它服务器只作备用。为避免网络、电源等问题的冲击,Cache Manager设置为只对同时一个Cache节点宕机有权利自动化迁移,多台同时宕机时,会发出报警,需要管理员人工控制迁移。
- 大小: 35.1 KB
- 大小: 146.4 KB
- 大小: 170.3 KB
分享到:
相关推荐
微博Cache架构设计实践,微博Cache架构设计实践,微博Cache架构设计实践
facebook开发的flashcache官方架构文档。权威,翔实。
twitter cache缓存架构图.png
cache基本架构&基本概念.pdf
百度cdn cache架构,原理实现、核心功能、优缺点、及性能
关于oracle share pool 中library cache的详解
cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验cache实验...
用法 var LRU = require ( 'lru-cache' ) , LRUPool = require ( 'lru-cache-pool' ) , pool = LRUPool ( LRU ) , c1 , c2 ;c1 = pool . get ( 'users' ) ;c1 . put ( 'z' , 77 ) ;c2 = pool . get ( 'users' ) ;...
Cache技术--OSCache JAVA开发者必须研究的cache的架构
该工程包含数据缓存D_Cache和指令缓存I_Cache的Verilog代码和仿真文件,Cache的详细技术参数包含在.v文件的注释中。 直接相连16KB D_Cache Cache写策略: 写回法+写分配 (二路)组相连16KB I_Cache Cache替换策略: ...
头歌计算机组成原理2路组相联cache设计头歌计算机组成原理2路组相联cache设计头歌计算机组成原理2路组相联cache设计头歌计算机组成原理2路组相联cache设计头歌计算机组成原理2路组相联cache设计头歌计算机组成原理2...
3) 改变Cache容量(*2,*4,*8,*64),运行程序(指明所选的测试程序),统计各种失效的次数,并分析Cache容量对Cache性能的影响; 4) 改变Cache的相联度(1路,2路,4路,8路,64路),运行程序(指明所选的测试...
java连接cache数据库说明,数据库驱动,cache可视化工具
私有cache划分(private cache partitioning,PCP)方法采用一个分布式一致性引擎(DCE)把多个私有cache组织在一起,最后通过硬件信息提取单元获得多个程序在不同cache路上的命中分布情况,用于指导划分算法的执行,...
赠送jar包:cache-api-1.1.1.jar; 赠送原API文档:cache-api-1.1.1-javadoc.jar; 赠送源代码:cache-api-1.1.1-sources.jar; 赠送Maven依赖信息文件:cache-api-1.1.1.pom; 包含翻译后的API文档:cache-api-...
SuperCache实现专利的数据块级别的缓存技术,除提高系统性能之外,还能独自进行 NT 文件级别缓存。 SuperCache使用获得专利的块级高速缓存技术来提升系统的性能,这种技术远胜于单纯使用NT文件级的高速缓存。通过...
cache-jdbc
cache数据库基础操作资料,包含建库建表,关联查询
关于DSP6678 cache相关总结,包括一致性,cache结构,cache一致性操作等内容。