`
17studio
  • 浏览: 195239 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

分布式文件存储方案

阅读更多
client->请求分发模块->app->IO请求处理层->memcached->MogileFs->nfs->ext3

以前邮件系统的架构

IO请求处理层+缓冲管理层(预读写+块管理+索引管理)->nfs->ext3

文件分布存储解决的几个问题:

1. 容量
2. 成本
3. 速度
4. 服务稳定性

容量靠
1. mogilefs
2. nfs

成本靠
1. nfs的磁盘阵列柜方案

速度靠
1. 热点数据管理 (索引键: date/filepath/filesize)
2. 内存缓冲
3. ext3的inode

稳定性
1. raid
2. mogilefs
3. ext3

上述方案具有特点
1. 超大规模的验证
2. 业界普遍应用的经验积累

分享到:
评论
2 楼 17studio 2008-10-20  
ncache是在请求分发模块做的事情
1 楼 Arbow 2008-10-17  
一些索引之类的数据可以用memcached,但是文件缓存用它就很有问题了,窃认为使用ncache等代替这层是个更好的方案

相关推荐

    fastDFS分布式文件系统部署方案

    fastDFS分布式文件系统部署方案,详细部署步骤,一看便知; FastDFS 是一个开源的高性能分布式文件系统( DFS )。 它的主要功能包括:文件存储,文件同步和 文件访问,以及高容量和负载平衡。主要解决了海量数据...

    第2讲_分布式文件系统HDFS.pdf

    HDFS也存在一些缺点,如不适合低延迟数据访问、不适合大量小文件存储、不支持并发写入和文件随机修改等。这限制了HDFS在某些应用场景中的使用。 HDFS是一种高效、可靠的分布式文件系统,非常适合大数据处理和批处理...

    多模型数据统一存储的大数据分布式存储平台方案分享

    平台方案提供了企业级分布式文件系统TDFS,海量小文件存储无瓶颈,同时支持文件和对象存储,并且兼容Hadoop生态,支持应用平滑迁移。TDFS支持10亿以上文件数,PB级以上存储容量,是开源HDFS数倍。 多模型统一存储 ...

    淘宝分布式文件系统

    淘宝文件分布式存储方案!开源项目,C++编写,适用于很多企业

    大量视频、图片、文件分布式存储技术方案.docx

    大量视频、图片、文件分布式存储技术方案.docx

    面向分布式文件存储系统的数据恢复策略

    分布式存储系统构建于大量的廉价节点之上,使得节点失效成为一种常态。为了保证数据的可靠性,系统必须具备数据容错方案。纠删码冗余方案可以在提供更低的存储开销的同时,获得和副本冗余方案相同的可靠性。但是在实际...

    C++ 分布式系统源码学习:FastCFS分布式文件系统 v4.3.0

    FastCFS(Fast Clustered File System)是一个基于块存储的高性能通用...总之,FastCFS分布式文件系统是一个多才多艺的分布式存储解决方案,它在高性能、通用性和灵活性方面表现出色。如果您寻求一个高性能、通用的分

    MongoDB(分布式文件存储的数据库)

    MongoDB是一个基于分布式文件存储 [1] 的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像...

    基于Spring Boot + VUE CLI@3 框架开发的分布式文件系统,旨在为用户和企业提供一个简单、方便的文件存储方案

    基于Spring Boot + VUE CLI@3 框架开发的分布式文件系统,旨在为用户和企业提供一个简单、方便的文件存储方案,能够以完善的目录结构体系,对文件进行管理;该项目采用前后端分离的方式进行开发和部署,主要用到以下...

    Linux+分布式文件系统+Moosefs实施方案

    Linux操作系统上实施分布式文件系统,以及如何使用MooseFS作为分布式文件系统的解决方案。介绍了如何在Linux系统上实施分布式文件系统,并以MooseFS为例进行了具体的实施步骤。分布式文件系统可以提供高可用性、高...

    Hadoop HDFS分布式文件系统 常用命令汇总

    作为一个分布式文件系统,HDFS提供了高可靠性、高可扩展性和高性能的存储解决方案。在使用HDFS时,经常需要执行一些基本操作,例如拷贝文件、查看目录内容、删除文件等。本文将总结HDFS的常用命令,以便大家更好地...

    基于Hadoop的微博分布式存储系统的设计及构建_论文.doc

    Hadoop 框架底层的 HDFS 分布式文件系统具有很高的容错性和很高的传输速率,并且易于扩充。基于 HDFS 之上的 Hbase 是基于列族的非传统性数据库,可以为用户提供更好的实时读写数据。通过对 Hbase 的设计来减少...

    畅购商城第二章分布式存储解决方案源码加视频加讲义

    FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站...

    Hbase+Spring boot实战分布式文件存储

    8-1 功能梳理和数据库设计 8-2 文件存储设计方案一 8-3 文件存储设计方案二 第9章 子模块-数据库操作模块 hos服务基础数据库选用mysql,本章实现基于SpringBoot+Mybatis的mysql数据库的操作模块,采用c3p0连接池,...

    在CentOS 7.1 上安装分布式存储系统 Ceph

    Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统,最初是奔着高性能分布式文件系统去的,结果云计算风口一来,Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object Storage),现在分布式...

    分布式文件系统HDFS(1).pptx

    分布式文件系统HDFS 分布式文件系统HDFS(Hadoop Distributed File System...HDFS是分布式文件系统的代表,提供了高性能、可靠性和可扩展性的存储解决方案,广泛应用于大数据存储和处理、分布式计算和数据分析等领域。

    SSD在分布式文件系统中的应用场景及方案对比.pdf

    SSD在分布式文件系统中的应用场景及方案对比,ceph集群分别有两个HDD和SSD存储池,一般来说,缓存层构建在昂贵/速度更快的SSD磁盘上,这样才能为客户提供更好的I/O性能。在缓存池后端通常是存储层,它由复制或者...

    基于Go的分布式文件系统设计源码

    本项目是一个基于Go语言开发的分布式文件系统,包含1049个文件,主要文件类型包括Go源代码、...支持断点续传、分块上传、小文件合并、自动同步和自动修复等功能,为用户提供一个稳定、高效的文件存储和共享解决方案。

    分布式图片存储-minio

    Minio可以做为云存储的解决方案用来保存海量的图片,视频,文档。由于采用Golang实现,服务端可以工作 在Windows,Linux, OS X和FreeBSD上。配置简单,基本是复制可执行程序,单行命令可以运行起来

    Java分布式文件存储项目开发视频教程 (Hbase分布式数据库+Spring boot技术)

    第8章功能梳理与方案设计 第9章子模块-数据库操作模块 第10章子模块-用户管理模块 第11章子模块-权限管理模块 第12章子模块-文件管理模块 第13章子模块-接口模块 第14章子模块-SDK模块 第15章课程总结 源码

Global site tag (gtag.js) - Google Analytics