Lustre的主要组件有三个:先进的集群文件系统,基于对象的存储设备和可堆叠的对象驱动模型。
1.1 先进的集群文件系统
OBDFS是一个基于对象的文件系统,目前能很好的运行于单一的安装了对象存储设备的系统上。OBDFS能很好地扩展成集群文件系统,从而多个节点共享一个对象存储设备。传统的群集文件系统共享块存储设备。
Lustre文件系统具有很好的特性。允许扩展到10000个客户端,并支持巨大的并行IO池(1000's)的对象存储控制器。
1.2 基于对象的存储设备
Lustre采用对象存储设备。具有很大的优越性。
l 对象存储系统简介:
主要包含OSD和MDS。OSD是智能的对象存储设备,具有自身的CPU,内存和存储介质,提供以对象为单位的访问,不提供对块的访问;MDS管理整个文件系统的命名空间,包括文件系统的目录层次结构,和数据的分布。因为OSD是智能型的,所以MDS上的很多数据分布的工作交给OSD完成,从而降低了MDS的负载。Client端可以并发地从多个OSD上读写,达到线性叠加的高带宽。如ActiveScale对象存储文件系统的带宽可以达到10GB/s
l Nutch分布式文件系统的对比:
Nutch的分布式文件系统,就没有去解决这个问题,它是提供对块的访问,NameNode负责管理全局的文件命名空间以及每以及个块在DataNode上的分布。因此NameNode容易成为瓶颈。
l 一般的分布式文件系统:
一般包括服务端和客户端,服务器又分为SCM(Service Control Machine)和
Non-SCM,SCM负责与其它服务器的同步。当客户端和服务器端建立连接后,会在本地生成一个文件系统的映射,并和服务器端保持同步。客户端根据这个本地的映射的文件系统可以透明地访问在别的机器上共享的文件数据。
1.3 可堆叠的对象驱动模型
除了直接的控制存储的驱动之外,还可以在这一层上面实现不同的驱动,像逻辑的对象存储驱动和客户端的对象驱动等。
比如,可以很容易地实现逻辑的RAID磁盘阵列,只需要一个对象驱动能同时和多个直接的存储驱动交互即可。
-
文章出处:DIY部落(http://www.diybl.com/course/6_system/linux/Linuxjs/20090308/159666.html)
分享到:
相关推荐
HPC高性能计算知识-深度解析Lustre体系结构.docx
Lustre是一个开源的、基于对象存储技术的集群并行分布式文件系统,它具有很高的可扩展性、可用性、性能、易用性等,在高性能计算系统中被广泛使用。它主要包括三个部分:元数据服务器MDS (Metadata Server)、对象...
Lustre文件系统架构和配置调优.docx
包括Lustre mannul , Lustre internals , Lustre quick start ,Lustre arthitecture等资料
Lustre is a shared disk file system, generally used for large scale cluster computing. The name Lustre is a portmanteau of Linux and cluster. The project aims to provide a file system for clusters of ...
Lustre 文件系统操作手册
并行文件系统lustre手册,pdf文件,介绍lustre文件系统架构,系统管理,操作手册
深入理解Lustre文件系统
写该文档的最直接的原因是有网友说网上很难找到 lustre 的部署文档,我曾答应说要给 他整理出一个, 所以就~~~ 其实也是, 目前 lustre 想找一个安装部署文档确实很困难,哪怕是英文的也好。 网上流 行为数不多的 ...
lustre\lustre1.6使用手册.pdf
Lustre分布式并行文件系统中文操作手册,译者:李希,时间:2019年5月29日 Lustre结构探析、Lustre网络、Lustre文件系统的故障切换……
自2005年6月以来,它持续在超级计算机世界排名前十中占有至少一半的席位,前排名前100的超级计算机中,至少60个超级计算机使用Lustre,其中包括在2014
lustre分布式并行文件系统介绍
本文档是本人在调研Lustre文件系统式时的总结!
cook book for lustre.
lustre2.1.0源代码;分布式对象存储文件系统,用于高性能计算和存储。
lustre文件系统是并行文件系统,lustre官网是英文版的手册,使用起来比较麻烦。还是中文手册看着方便。
本文是本人在调研Lustre文件系统时的总结。
Lustre1.8的官方英文手册,PDF版,详细介绍了Lustre的结构,安装过程,配置过程等各种问题,500多页