`
s929498110
  • 浏览: 104719 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MFS(可能比HDFS更好的文件系统)开工了~~~

阅读更多

名称:暂命名为Magic File System(MFS)


思路:吸取HDFS的优良设计原理,尽最大可能改良其弱点软肋。此文件系统的设计思路与HDFS有关,但是并非HDFS的衍生品,本人也尚未阅读HDFS源码。可能做到的改良以及兼容有如下几方面:

  1. 无限制的文件块数量。
  2. 采用更小更多的文件块,从而加快大文件读取。
  3. 理论上可存储无限数量的不分大小文件(前提是存储空间足够)
  4. 摒弃NameNode,所有节点可提供文件存储和文件读写功能
  5. 采用算法(Secret)可以在茫茫万计的服务器集群中精确定位特定文件所在位置,以及其副本位置。文件读取不受集群规模影响,甚至集群越大,大文件读取速度越快。
  6. 节点在宕机或添加之后,集群中会出现文件块流动从而均衡各个节点中的文件数量。若集群规模超大时,宕机可能会频繁发生。考虑此文件系统不需要对宕机事件迅速做出反应,只需要每隔一定时间再进行节点均衡即可(期间有备用文件块可用)。
  7. 当有新节点添加时,此节点默认为不可靠状态。此期间会有许多文件块流入此节点,直到文件流动完成,此节点就变为可靠状态正式融入集群。

语言:因为本人两年来对Java研究略深,故采用Java实现此文件系统(性能瓶颈主要在文件IO和网络IO上,与语言无关)。


备注:我对Magic有特殊喜好,因此就以Magic命名。此文件系统我已心中构思近一个月,如今终于成型。技术难点也均有解决办法,现在开始着手实现,希望不会有新的拦路虎!

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics