`

存储架构记载

 
阅读更多

 

1 数据存储NFS系统

2 DRBD实现NFS文件高可用

3 文件读写分离,即系统实时的将文件分发到读服务器上,rsync+inotify 实现触发同步

(  1 小图片可以处理(200-300k),单个图片过大不行,

    2 总容量过大几个T可能不行,

    3 web服务器过多则主服务器带宽不够)

4 NFS双主多从可以解决并发读和单点问题,但是如果并发写大会有很多问题:

  1)每秒300张以上图片,同步会延迟,需要开启多线程同步,优化监控事件,磁盘IO与网络IO 

  2)图片总量达到3T以上,则单台容量不够,可以讲数据放到多个硬盘上,然后做挂载 ,

     比如:原来有5个目录,则把每个目录都拿出来做一个一主多从的文件服务器 

5 NoSql存储方案,cassandra,mongoDB,mysql主从等来做文件存储 

 

 

 

 

其他东西的了解:

Mysql 并发支持小于1000,如redis缓存服务器可以支持10W并发。

mysql 数据大于10,也不行了 

 

http://blog.nosqlfan.com/

内存缓存数据库:  

memcachedb,Tokyo Tyrant,支持分布式和数据持久化,可以支持几万并发。

 

缓存内存设置:用10-20G也就行了,要小于总容量的3/5,太大的话重启预热时间会比较长

 

lvs 负载均衡 ,心跳互为主备

haproxy 代理 

squid 做缓存静态数据

mfmaster  存储  或NFS 用drbd做同步  

静态化数据web集群ngix

 

 

分享到:
评论

相关推荐

    06-分布式云平台HADOOP.pdf

    Hadoop思维导图,便捷整理思路,里面记载了hadoop由来、存储和架构模型、HDFS设计思想、持久化

    大数据培训文档.pptx

    数据量增长速度的历史,也就是"数据爆炸"的历史 (据牛津英语辞典记载,这一术语首次使用于1941年。) 大数据的起源 大数据培训文档全文共21页,当前为第2页。 大数据定义 大数据被称为巨量数据集合或者巨量资料 ...

    terraform:有记载的Terraform学习

    Terraform可用于与AWS和Azure等云基础架构提供商一起部署虚拟机,存储,网络,DNS,负载均衡器等。 像AWS和Azure这样的云提供商都可以使用自己的方式使用CloudFormation和Azure资源管理器(ARM)模板将基础架构定义...

    虚拟智慧VMware_vSphere运维实录

    并且真正将硬件cpu、内存、存储、网络设备等设备抽象化,成为一个可计量单位,从而将这个计量单位转换成服务性质,让it人员更方便地设计自身企业的平台架构,或是作成新的产品服务。  本书是全球第一本将所有...

    api:历史地图数据的API

    Atlastory是一张互动地图,记载了地球上的生命历史。 该API是基于JSON的RESTful接口,用于编辑和检索地图数据。 此存储库包含所有地图数据的基于MVC的API代码库(包括完整的文档)和数据库结构。 请查看以获取有关...

    百度开源的人工智能软件 WARP-CTC.zip

    百度表示,Warp-CTC所需的存储空间较小,比普通 CTC 速度快数百倍。有业内人士认为,百度这么做是因为谷歌在去年11月开源了 TensorFlow 软件,而 Faceboo k也于去年12月公开了Big Sur人工智能硬件架构。百度担心,...

    极速PDF阅读器 3.7绿色版

    1.优化云端存储结构,前进领会; 2.优化阅读、注释内核,前进功率; 3.批改其他已知小bug。 极速PDF阅读器3.0.0.1033 1.全面升级为2019版别; 2.重构中心底层构架; 3.增强文档稳定性及兼容性,大大前进翻开速度。 ...

    网络管理中网络安全策略的概述.doc

    2、配置本地信息的加密 SiteView系统对于用户所作的任何配置信息全部采用统一标准的加密方法进行本地存储 ,这样即使SiteView系统所在的主机被突破,也无法获得用户的任何信息(如帐户等)。 3、帐户的安全 SiteView...

    基于J2EE框架的个人博客系统项目毕业设计论文(源码和论文)

    Blog记载了日常发生的事情和自己的兴趣爱好,把自己的思想和知识和他人分享、交流,同时又通过“六度空间”结识了更多志趣相投的朋友;而越来越多专业知识的 Blog 的出现,让我们看到了 Blog 更多所蕴涵的巨大的...

    基于J2EE框架的个人博客系统项目毕业设计论...

    Blog记载了日常发生的事情和自己的兴趣爱好,把自己的思想和知识和他人分享、交流,同时又通过“六度空间”结识了更多志趣相投的朋友;而越来越多专业知识的 Blog 的出现,让我们看到了 Blog 更多所蕴涵的巨大的...

    自己动手写操作系统(含源代码).part2

    在读完本书后,你不但可以获得对于操作系统初步的感性认识,并且对 IBMPC的接口、IA架构之保护模式,以及操作系统整体上的框架都将会有一定程度的了解。 笔者相信,当你读完本书之后,如果再读那些纯理论性的操作...

    自己动手写操作系统(含源代码).part1

    在读完本书后,你不但可以获得对于操作系统初步的感性认识,并且对 IBMPC的接口、IA架构之保护模式,以及操作系统整体上的框架都将会有一定程度的了解。 笔者相信,当你读完本书之后,如果再读那些纯理论性的操作...

    c#学习笔记.txt

    在后一种情况中,委托不仅存储对方法入口点的引用,还存储对调用其方法的对象的引用。与 C 函数指针不同,委托是完全面对对象的;与指向成员函数的 C 指针不同,委托同时封装对象实例和方法。委托声明定义从类 ...

Global site tag (gtag.js) - Google Analytics