`

分布式文件系统选型

阅读更多
1、MogileFS
Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多。

2、FastDFS
国人在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mogileFS更好的性能。

3、MooseFS(我目前使用的)
支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,其master非常占内存?(测试结果貌似是chunkserver)国内用的人比较多。

4、GlusterFS
支持FUSE,比mooseFS庞大官方测试最高带宽达到32GB/S,号称比lustre还要好,和MFS相似之处是基于用户态的文件系统,也支持分条、副本,快照好像不支持,有很多性能优化的策略,配置也比较简单,比较适合大型应用。

5、Ceph
支持FUSE,客户端已经进入了linux-2.6.34内核,也就是说可以像ext3/rasierFS一样,选择ceph为文件系统。彻底的分布式,没有单点依赖,用C编写,性能较好。基于不成熟的btrfs,其本身也非常不成熟。

6、Lustre
Oracle公司的企业级产品,非常庞大,对内核和ext3深度依赖

总而言之开源分布式文件系统不适合海量小文件存储
分享到:
评论

相关推荐

    常用分布式文件系统选型对比

    介绍HDFS,GlusterFS,Ceph,等常用分布式文件系统的特点性能以及技术选型,

    分布式文件系统选型分析.docx

    TFS(Team Foundation Server)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问........

    FastDFS分布式文件系统.docx

    3.能够理解FastDFS分布式文件系统架构、及架构思想 4.能够理解文件上传、下载、 文件服务器访问的流程 5.能够完成FastDFS环境搭建(使用docker镜像即可) 6.能够理解FastDFS&nginx访问流程 7.能够掌握FastDFS错误...

    基于hadoop+hbase+springboot实现的分布式网盘系统,适合本科毕业设计

    基于hadoop+hbase+springboot实现的分布式网盘系统,适合本科毕业设计 资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户...

    换个角度看GlusterFS分布式文件系统

    GlusterFS不是一个完美的分布式文件系统,这个系统自身也有许多不足之处,本文不再谈GlusterFS的各种优点,而是深入谈谈GlusterFS当下的问题和不足,从而更加深入地理解GlusterFS系统,期望帮助大家进行正确的系统...

    分布式数据库选型1

    第一个关键的基础设施是Google File System(GFS),这是一个高可用的文件系统,提供了一个全局的命名空间 第二个基础设施是名为Map-Reduc

    disk:基于hadoop + hbase + springboot实现分布式网盘系统

    分布式网盘系统这个版本比较干净,整个demo在Hadoop,和Hbase环境建造好了,可以启动起来。技术选型1,Hadoop 2.Hbase 3,SpringBoot ......系统实现的功能1.用户登录与注册2.用户网盘管理3.文件在线浏览功能4.文件...

    Java分布式实战指南.pdf

    2.分布式日志采集系统ELK 3.分布式事务解决方案Seta 4.分布式锁解决方案Zookeeper、Redis 5.分布式配置Nacos 6.高并发分布式全局ID生成雪花算法 7.分布式Session使用redis实现 8.分布式服务追踪与调用链Sleuth+...

    人工智能-项目实践-信息检索-Java 分布式项(SSM、分布式Dubbo、全文检索Solr、Vue、Zookeeper、文件系

    Java 分布式项(SSM、分布式Dubbo、...分布式文件系统 FastDFS 全文检索技术 Solr 分布式缓存 Redis 页面静态化 消息中间件 权限控制框架 Spring Security 单点登录框架 CAS 短信发送 跨域问题解决方案 CORS 二维码生成

    基于hadoop+hbase+springboot实现的分布式网盘系统+源代码+文档说明

    #### 技术选型 > 1.Hadoop > 2.Hbase > 3.SpringBoot > ...... --- #### 系统实现的功能 > 1.用户登录与注册 > 2.用户网盘管理 > 3.文件在线浏览功能 > 4.文件上传与下载 > ...... -------- 不懂运行,...

    2022中国数据库技术大会(公开)PPT汇总(71份).zip

    百亿级分布式文件系统FastCFS架构与实现 本地服务领域接地气的AI对话机器人 银行核心系统分布式架构转型实践 程序员必须掌握的数据库原理 弹性经济,云上ClickHouse的架构思想 斗鱼云原生数据库建设实践 多region...

    2022大数据存储架构实践资料合集-共51份.zip

    为云而生的分布式文件系统 未来数据库需要关心的硬核创新 Apache Doris存储层向量化改造设计与实现 数据编排技术在联通的应用 基于云上对象存储的大数据平台应用实践 大数据存储加速与服务化在Shopee的实践 使用...

    基于SpringBoot+Mybatis开发的分布式校园租赁系统(毕业设计)

    二、技术选型 后端技术 Spring Framework、SpringMVC、SpringBoot、MyBatis、Dubbo、Redis、Elasticsearch、Spring Security、Thymeleaf、Mysql、Websocket 前端技术 Bootstrap、jQuery 三、项目运行 安装Jdk1.8、...

    手把手教你写 轻量级分布式 RPC 框架

    根据以上技术需求,我们可使用如下技术选型: Spring:它是最强大的依赖注入框架,也是业界的权威标准。 Netty:它使 NIO 编程更加容易,屏蔽了 Java 底层的 NIO 细节。 Protostuff:它基于 Protobuf 序列化框架,...

    DataFunSummit:2022年大数据存储架构峰会PPT合集(52份).zip

    JuiceFS-为云而生的分布式文件系统 未来数据库需要关心的硬核创新 云原生开源分布式存储CubeFS在数据湖的探索与实践 数据编排技术的应用 基于云上对象存储的大数据平台应用实践 大数据存储加速与服务化的实践 一站式...

    iBase4J分布式系统-其他

    iBase4J是Java语言的分布式系统架构。使用Spring整合的开源框架。iBase4J特点:使用Maven对项目进行模块化管理,提高项目的易开发性、扩展性。系统包括4个子系统:系统管理Service、系统管理Web、业务Service、业务...

    基于springboot的在线聊天系统源码+项目说明.zip

    huxin项目是一套聊天系统,包括前台手机界面及后台分布式系统,基于SpringBoot+Netty+MUI+H5Plus+Nginx+FastDFS分布式文件系统搭建的聊天系统。 前端聊天系统包含首页门户登录注册、互信、通讯录、发现、我等模块,...

    基于SpringBoot+SpringCloud+Mybatis主流框架搭建的分布式敏捷开发系统架构+源代码+文档说明

    分布式统一配置管理中心,可解决多环境多项目配置 > mi-api 接口总线服务,提供eureka注册中心。其他模块需暴露API接口可参考此案例或者在自己子项目中创建服务提供者供其他项目调用消费。 > mi-admin 平台总...

    CloudSystem:@Cloud云存储系统

    CloudSystem @Cloud云存储系统 系统要求 任务一: 根据要求完成系统体系结构图和系统ER图, 进行技术选型给出相应的前端、后端、数据库等技术框架的选择...分布式文件系统的搭建 基于NFS技术搭建出集群化的文件系统、作

Global site tag (gtag.js) - Google Analytics