`
bwhzhl
  • 浏览: 100268 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

GlusterFS分布式文件部署

 
阅读更多
【FUSE安装】
yum install zlib-devel util-linux
 tar zxvf fuse-2.9.2.tar.gz 
 cd  fuse*
 ./configure
 make && make install  
export PKG_CONFIG_PATH=/usr/local/fuse/lib/pkgconfig:/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
source /etc/profile
modprobe fuse 
lsmod | grep fuse

【GlusterFS安装】
yum install flex byacc bison openssl-devel  python-ctypes
tar zvxf glusterfs-3.3.1.tar.gz
cd glusterfs-3.3.1
./configure --enable-fusermount
make && make install

############服务端配置#######################
vim /usr/local/etc/glusterfs/glusterd.vol

volume brick
  type storage/posix
  option directory  /data/gluster
end-volume

volume locker
  type features/posix-locks
  subvolumes brick
end-volume

volume server
  type protocol/server
  option transport-type tcp/server
  option bind-address 192.168.1.202  # server1 201
  option listen-port 6997   #server1 6996
  subvolumes locker
  option auth.addr.brick.allow *
  option auth.addr.locker.allow *
end-volume
###################################
启动Server1和Server2,
glusterfsd -f /usr/local/etc/glusterfs/glusterd.vol  -l /tmp/glusterfsd-server.log
/etc/init.d/glusterd start




##############客户端配置#####################
vim /usr/local/etc/glusterfs/glusterd.vol

volume client1
  type    protocol/client
  option  transport-type  tcp/client
  option  remote-host  192.168.1.201
  option  transport.socket.remote-port 6996
  option  remote-subvolume locker
end-volume

volume client2
  type      protocol/client
  option    transport-type  tcp/client
  option    remote-host  192.168.1.202
  option    transport.socket.remote-port 6997
  option    remote-subvolume locker
end-volume

volume bricks
  type cluster/replicate
  subvolumes client1 client2
end-volume
###################################
mkdir -p  /data/gluster
glusterfs -f  /usr/local/etc/glusterfs/glusterd.vol  -l /tmp/glusterfs-client.log   /data/gluster    #debug



======================中继介绍===============================
1. storage/posix   #指定一个本地目录给GlusterFS内的一个卷使用;
2. protocol/server   #服务器中继,表示此节点在GlusterFS中为服务器模式,可以说明其IP、守护端口、访问权限;
3. protocol/client   #客户端中继,用于客户端连接服务器时使用,需要指明服务器IP和定义好的卷;
4. cluster/replicate   #复制中继,备份文件时使用,若某子卷掉了,系统仍能正常工作,子卷起来后自动更新(通过客户端);
5. cluster/distribute   #分布式中继,可以把两个卷或子卷组成一个大卷,实现多存储空间的聚合;
6. features/locks    #锁中继,只能用于服务器端的posix中继之上,表示给这个卷提供加锁(fcntl locking)的功能;
7. performance/read-ahead     #预读中继,属于性能调整中继的一种,用预读的方式提高读取的性能,有利于应用频繁持续性的访问文件,当应用完成当前数据块读取的时候,下一个数据块就已经准备好了,主要是在IB-verbs或10G的以太网上使用;
8. performance/write-behind   #回写中继,属于性能调整中继的一种,作用是在写数据时,先写入缓存内,再写入硬盘,以提高写入的性能,适合用于服务器端;
9. performance/io-threads   #IO线程中继,属于性能调整中继的一种,由于glusterfs 服务是单线程的,使用IO 线程转换器可以较大的提高性能,这个转换器最好是被用于服务器端;
10. performance/io-cache   #IO缓存中继,属于性能调整中继的一种,作用是缓存住已经被读过的数据,以提高IO 性能,当IO 缓存中继检测到有写操作的时候,它就会把相应的文件从缓存中删除,需要设置文件匹配列表及其设置的优先级等内容;
11. cluster/stripe   #条带中继,将单个大文件分成多个小文件存于各个服务器中,实现大文件的分块存储。 
分享到:
评论

相关推荐

    基于GlusterFS实现Docker集群的分布式存储

    以Docker为代表的容器技术在云计算领域正扮演着越来越重要的角色,甚至一度被认为是虚拟化技术的替代品。企业级的容器应用常常需要将重要...本文主要介绍了如何利用GlusterFS为Docker集群提供可靠的分布式文件存储。Gl

    glusterfs.md

    多环境分部署存储,我根据实际项目用到,项目有两套环境分别用到文件服务器minio,实际应用一个环境上传文件,另一个环境也可以使用,这就涉及到了文件同步,glusterfs分布式存储就可以做到,将两个环境分别文件...

    基于容器云的深度学习平台设计与实现

    部署GlusterFS分布式文件系统提高深度学习模型、数据与日志文件的读取速率。同时利用Prometheus框架丰富容器云集群的监控指标,保证深度学习模型的训练效果。系统设计完成后,通过手势识别项目验证了平台的有效性。...

    glusterfs:Gluster文件系统:在几分钟内建立您的分布式存储

    Gluster是一种软件定义的分布式存储,可以扩展到几个PB。 它提供了用于对象,块和文件存储的接口。 发展历程 开发工作流程记录在“ 文献资料 可以在找到。 部署方式 可以在文件中找到构建和安装的快速说明。 测验 ...

    KVM+GFS分布式存系统构建KVM高可用

    文章目录前言一:理论概述1.1:Glusterfs 简介1.2:Glusterfs 特点二:KVM高可用构建实操2.1:环境2.2:实验目的2.3:实验过程2.3.1:构建GFS集群2.3.2:安装KVM虚拟机2.3.3:GFS集群... 一个可扩展的分布式文件系统,

    centos7.5分布式平台搭建.docx

    26. GlusterFS分布式文件系统部署 95 26.1. 在kubernetes中部署 95 26.1.1. 安装: 95 26.1.2. 创建Heketi服务: 97 26.1.3. 为Heketi设置GlusterFS集群 99 26.2. yum部署 99 26.3. 创建分布式卷 99 27. SpringBoot ...

    GeoServer集群部署及性能测试(在虚拟机上实现)

    应用vmware在本地构建linux虚拟机集群,包括一个nginx节点,三个GeoServer节点,三个GlusterFS文件系统节点。 软件准备 1.geoserver软件(使用tomcat作为web容器) 2.nginx 3.glusterFS 虚拟系统准备 在vmware中克隆...

    基于GFS文件系统存储群集实现KVM的高可用以及热迁移

    利用Glusterfs的分布式复制卷,对KVM虚拟机进行分布存储和冗余功能,分布式复制主要用于需要冗余情况下把一个文件存放在两个或者两个以上的节点上,当其中一个节点数据丢失或者损坏之后,KVM仍然能够通过卷组找到...

    KVM+GFS构建KVM高可用群集案例

    利用Glusterfs的分布式复制卷,对kvm虚拟机文件进行分布式存储和冗余功能 二、实验环境 在vmware虚拟机中开3台虚拟机,一台搭建KVM虚拟化平台,二台做GFS分布式复制卷 三、实验目的 当其中一个节点数据

    event6:Kassel Code Meetup Tech Talk No.6 18.3.2015 http

    分布式文件系统是一种将来自不同系统的现有存储资源合并为可用文件系统的方法。 这意味着一方面可以使用未使用的资源,另一方面可以分配网络中 I/O 的负载。 本讲座旨在对该技术进行实用的介绍,并以 GlusterFS 为...

    gluster-ansible:不可混叠塔的特定于gluster的角色和模块的核心库

    Gluster Ansible角色gluster-ansible项目... 帮助用户开始部署GlusterFS文件系统帮助用户设置GlusterFS集群,管理gluster卷和对等操作。 实现GlusterFS用例:nfs_ganesha,gluster_hc,ctdb,geo_replication。 帮助

    swarmlet:一种自托管的开源平台即服务,可轻松实现群集部署,负载平衡,自动SSL,指标,分析等

    蜂群 —— Swarmlet是可在任何单个服务器上运行的自托管的开源平台即服务。 它主要用于多台服务器,一个服务器集群/群集... 这些启用自动SSL,负载平衡,群集状态管理和分布式文件存储。 让我们加密通配符证书支持-。

    awesome-storage:精选的存储开源工具列表。 备份,冗余,共享,分发,加密等

    分布式文件系统 公开具有POSIX语义的传统文件系统接口的系统。 -Ceph的文件系统在提供对象存储和块设备接口的同一对象存储系统上运行。 Ceph元数据服务器群集提供了将文件系统的目录和文件名映射到RADOS群集中存储...

    Linux inotify实时备份实现方法详解

    对于数据文件还有较复杂的分布式存储工具自身可以实现将数据同时备份成多份,例如: FastDFS、 GlusterFS等;对于提交到数据库中的数据,可使用数据库的主从复制(例如: MySQL、 Oracle)方式备份,这是软件自带的实时复制...

Global site tag (gtag.js) - Google Analytics