hehe3000
- 浏览: 6486 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
大型互联网公司在发展过程中，文件系统都经历了从集中式存储到分布式存储的演进过程。
1.集中式存储
早期数据量和访问量较小，可以采用emc等公司的NAS存储，但随着访问量增加，网络的瓶颈，扩容的压力和成本，运维的成本都将很高，这些缺点导致集中式存储已经无法支撑业务的需要。
2.分布式存储
可以通过分布式的方案，灵活的扩充，通过廉价的PC，就可以灵活增加存储，并且因为分布式的特点，硬件扩充的过程，不仅仅是存储的增加，而且网络流量的增加，访问量的增加都是同步解决了。
目前主流的分布式文件系统由hadoop文件系统（hdfs），但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景（从 ...
近日对hbase进行稳定性测试，因为主机资源有限，所以使用多个虚拟机搭了一个分布式hbase集群，无意中停了一个虚拟机，然后启动hbase发现整个集群无法启动，hmaster报了一个网络异常之后，就直接退出了。
于是开始跟踪hmaster启动部分的源码。
hmaster的大郅步骤：
1.连接zk，创建master node的watcher
2.检查root region是否存在
3.启动对zk root node和meta node的track
4 分配root 到对应的regionServer
5 分配meta 到对应的regionServer
现在就卡在了分配meta 到对应的regionS ...
hadoop fsck /
Minimally replicated blocks: 51224 (100.0 %)
block的replication数目大于等于 "dfs.namenode.replication.min"的block数量
Over-replicated blocks: 0 (0.0 %)
//block的replication数目大于 dfs.replication的block数量
Under-replicated blocks: 0 (0.0 %)
//block的replication数目小于 dfs.replicat ...