名称:暂命名为Magic File System(MFS)
思路:吸取HDFS的优良设计原理,尽最大可能改良其弱点软肋。此文件系统的设计思路与HDFS有关,但是并非HDFS的衍生品,本人也尚未阅读HDFS源码。可能做到的改良以及兼容有如下几方面:
- 无限制的文件块数量。
- 采用更小更多的文件块,从而加快大文件读取。
- 理论上可存储无限数量的不分大小文件(前提是存储空间足够)
- 摒弃NameNode,所有节点可提供文件存储和文件读写功能
- 采用算法(Secret)可以在茫茫万计的服务器集群中精确定位特定文件所在位置,以及其副本位置。文件读取不受集群规模影响,甚至集群越大,大文件读取速度越快。
- 节点在宕机或添加之后,集群中会出现文件块流动从而均衡各个节点中的文件数量。若集群规模超大时,宕机可能会频繁发生。考虑此文件系统不需要对宕机事件迅速做出反应,只需要每隔一定时间再进行节点均衡即可(期间有备用文件块可用)。
- 当有新节点添加时,此节点默认为不可靠状态。此期间会有许多文件块流入此节点,直到文件流动完成,此节点就变为可靠状态正式融入集群。
语言:因为本人两年来对Java研究略深,故采用Java实现此文件系统(性能瓶颈主要在文件IO和网络IO上,与语言无关)。
备注:我对Magic有特殊喜好,因此就以Magic命名。此文件系统我已心中构思近一个月,如今终于成型。技术难点也均有解决办法,现在开始着手实现,希望不会有新的拦路虎!
相关推荐
一篇关于描述云文件系统的文章,对比了各种云文件系统的优劣,不错的文章。
1分布式原理 2MFS原理 3mater搭建 搭建Chunk server 4客户端配置 5MFS监控 6MFS维护及灾难恢复
mfs 分布式文件系统,mfs分布式文件系统官方文档修改版
讲述了mfs分布式文件系统的基本环境搭建与加载mfs监控模块的使用
使用MFS 文件系统来存储和访问的主机称为MFS 的客户端,成功挂接MFS 文件系统以后,就可以像以前使用NFS 一样共享这个虚拟性的存储了。 元数据服务器安装和配置 元数据服务器可以是linux,也可以是unix,你可以根据...
mooseFS(moose 驼鹿)是一款...MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字),符号链接,硬链接。
有两个pdf文档:mfs文件系统使用手册.pdf moosefs分布文件系统.pdf
MFS分布式文件系统部署方案,主要包括系统设计、安装、维护等内容
一.MFS分布式文件系统详述 分布式简介 MFS分布式文件系统的原理 MFS文件系统的组成 MFS文件系统的工作过程 二.MFS分布式文件系统的部署 实验环境 配置Master Server 配置MetaLogger Server 配置Chunk Server1和Chunk...
文件存储服务FastDFS文件存储服务FastDFS-mfs-mfs文件存储服务FastDFS-mfs
MooseFS是一个分布式存储的框架,其具有如下特性: Free(GPL) 通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs很麻烦。)。 可以在线扩容,体系架构可伸缩性极强。
FreeBSD下建立MFS分布式文件系统
Ceph ClusterFS MooseFS(MFS) Lustre HDFS Sheepdog Swift
分布式文件系统MFS(moosefs)实现存储共享
元数据日志服务器: 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作 数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间...
MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服 务器上,而呈现给用户的则是一个统一的资源。
分布式文件系统FastDFS介绍
详细介绍了MFS及其安装说明,帮助初学者安装MFS分布式文件系统。