- 浏览: 1471937 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (798)
- struts2 (42)
- servlet (20)
- quartz (4)
- jquery & ajax (24)
- tomcat (5)
- javascript (15)
- struts1 (8)
- 搜索关键字及链接 (3)
- fckeditor (3)
- Apache (5)
- spring (22)
- linux (3)
- 企业应用 (8)
- 综合应用 (13)
- 服务器 (2)
- 数据库 (85)
- 性能调优 (21)
- 网络应用 (15)
- 缓存技术 (8)
- 设计模式 (39)
- 面试题 (7)
- 程序人生&前辈程序员 (29)
- java基础 (59)
- hibernate (75)
- log4j (4)
- http (11)
- 架构设计 (28)
- 网页设计 (12)
- java邮件 (4)
- 相关工具 (11)
- ognl (7)
- 工作笔记 (18)
- 知识面扩展 (12)
- oracle异常 (1)
- 正则表达式 (2)
- java异常 (5)
- 项目实践&管理 (1)
- 专业术语 (11)
- 网站参考 (1)
- 论坛话题 (2)
- web应用 (11)
- cxf&webservice (22)
- freemarker (3)
- 开源项目 (9)
- eos (1)
- ibatis (6)
- 自定义标签 (3)
- jsp (3)
- 内部非公开文档(注意:保存为草稿) (0)
- 国内外知名企业 (2)
- 网店 (3)
- 分页 (1)
- 消费者习惯 (2)
- 每日关注 (1)
- 商业信息 (18)
- 关注商业网站 (1)
- 生活常识 (3)
- 新闻 (2)
- xml&JSON (5)
- solaris (1)
- apache.common (3)
- BLOB/CLOB (1)
- lucene (2)
- JMS (14)
- 社会进程 (8)
- SSH扩展 (2)
- 消费心理 (1)
- 珠三角 (1)
- 设计文档 (1)
- XWork&webwork (1)
- 软件工程 (3)
- 数据库及链接 (1)
- RMI (2)
- 国内外知名企业&人物 (1)
最新评论
-
司c马:
简介易懂、
OutputStream和InputStream的区别 -
在世界的中心呼喚愛:
解决我的问题
Java获取客户端的真实IP地址 -
bo_hai:
都是些基本的概念呀!
SSO -
tian_4238:
哥们,你也是搞水利这块的吧。
巧用SQLQuery中的addScalar -
loveEVERYday:
java.util.Date、java.sql.Date、java.sql.Time、java.sql.Timestamp小结
大流量网站的底层系统架构分析
- 博客分类:
- 架构设计
大流量、高并发的网站的底层系统架构
http://www.huomaw.com/website/201009/2093.html
动态应用,是相对于网站静态内容而言, 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 大型动态应用系统又可分为几个子系统: l Web前 端系统 l 负 载均衡系统 l 数 据库集群系统 l 缓 存系统 l 分 布式存储系统 l 分 布式服务器管理系统 l 代 码分发系统 Web前端系统 结构图: 为了达到不同应用的服务器共享、避免单点故障、集中管理、统一配置等目的,不以应用划分服 务器,而是将所有服务器做统一使用,每台服务器都可以对多个应用提供服务,当某些应用访问量升高时,通过增加服务器节点达到整个服务器集群的性能提高,同 时使他应用也会受益。该Web前端系统基于Apache/Lighttpd/Eginx等 的虚拟主机平台,提供PHP程序运行环境。服务器对开发人员是透明的,不需要开发人员介入服务器管理 负载均衡系统 负载均衡系统分为硬件和软件两种。硬件负载均衡效率高,但是价格贵,比如F5等。软件负载均衡系统价格较低或者免费,效率较硬件负载均衡系统 低,不过对于流量一般或稍大些网站来讲也足够使用,比如lvs,nginx。大多数网站都是硬件、软件负载均衡系统并用。 数据库集群系统 结构图: 由于Web前端采用了负载均衡集群结构提高了服务的有效性和扩展性,因此数据库必须也是高可靠的才能保证整个服务体系的高可靠性,如何构建一个高可靠的、可以提供大规模并发处理的数据库体系? 我们可以采用如上图所示的方案: 1) 使用 MySQL 数据库,考虑到Web应用的数据库读多写少的特点,我们主要对读数据库做了优化,提供专用的读数据库和写数据库,在应用程序中实现读操作和写操作分别访问不同的数据库。 2) 使用 MySQL Replication 机制实现快速将主库(写库)的数据库复制到从库(读库)。一个主库对应多个从库,主库数据实时同步到从库。 3) 写数据库有多台,每台都可以提供多个应用共同使用,这样可以解决写库的性能瓶颈问题和单点故障问题。 4) 读数据库有多台,通过负载均衡设备实现负载均衡,从而达到读数据库的高性能、高可靠和高可扩展性。 5) 数据库服务器和应用服务器分离。 6) 从数据库使用BigIP做负载均衡。 缓存系统 缓存分为文件缓存、内存缓存、数据库缓存。在大型Web应用中使用最多且效率最高的是内存缓存。最常用的内存缓存工具是Memcachd。使用正确的缓存系统可以达到实现以下目标: 1、 使用缓存系统可以提高访问效率,提高服务器吞吐能力,改善用户体验。 2、 减轻对数据库及存储集服务器的访问压力 3、Memcached服务器有多台,避免单点故障,提供高可靠性和可扩展性,提高性能。 分布式存储系统 结构图: WEB系统平台中的存储需求有下面两个特点: 1) 存储量很大,经常会达到单台服务器无法提供的规模,比如相册、视频等应用。因此需要专业的大规模存储系统。 2) 负载均衡cluster中的每个节点都有可能访问任何一个数据对象,每个节点对数据的处理也能被其他节点共享,因此这些节点要操作的数据从逻辑上看只能是一个整体,不是各自独立的数据资源。 因此高性能的分布式存储系统对于大型网站应用来说是非常重要的一环。(这个地方需要加入对某个分布式存储系统的简单介绍。) 分布式服务器管理系统 结构图: 随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,原来基于单机的服务器管理模式已经不能够满足我们的需求,新的需求必须能够集中式的、分组的、批量的、自动化的对服务器进行管理,能够批量化的执行计划任务。 在分布式服务器管理系统软件中有一些比较优秀的软件,其中比较理想的一个是 Cfengine。它可以对服务器进行分组,不同的分组可以分别定制系统配置文件、计划任务等配置。它是基于C/S 结构的,所有的服务器配置和管理脚本程序都保存在Cfengine Server上,而被管理的服务器运行着 Cfengine Client 程序,Cfengine Client通过SSL加密的连接定期的向服务器端发送请求以获取最新的配置文件和管理命令、脚本程序、补丁安装等任务。 有了Cfengine 这种集中式的服务器管理工具,我们就可以高效的实现大规模的服务器集群管理,被管理服务器和 Cfengine Server 可以分布在任何位置,只要网络可以连通就能实现快速自动化的管理。 代码发布系统 结构图: 随着网站访问流量的不断增加,大多的网络服务都是以负载均衡集群的方式对外提供服务,随之集群规模的扩大,为了满足集群环境下程序代码的批量分发和更新,我们还需要一个程序代码发布系统。 这个发布系统可以帮我们实现下面的目标: 1) 生产环境的服务器以虚拟主机方式提供服务,不需要开发人员介入维护和直接操作,提供发布系统可以实现不需要登陆服务器就能把程序分发到目标服务器。 2) 我们要实现内部开发、内部测试、生产环境测试、生产环境发布的4个开发阶段的管理,发布系统可以介入各个阶段的代码发布。 3) 我们需要实现源代码管理和版本控制,SVN可以实现该需求。 这里面可以使用常用的工具Rsync,通过开发相应的脚本工具实现服务器集群间代码同步分发。
发表评论
-
LAMP网站架构方案分析
2011-09-21 11:09 1278LAMP(Linux-Apache-MySQL-PHP ... -
详细介绍软件架构设计的三个维度
2011-09-07 19:28 1346本文介绍的是软件架构 ... -
十步构建大型网站架构(2)
2011-09-07 16:21 1408架构演变第六步:分库 享受了一段时间的系统访问量高速增长的幸 ... -
十步构建大型网站架构(1)
2011-09-07 16:20 1370今天我们来谈谈一个 ... -
架构、框架、设计模式之间的关系简述
2011-09-07 16:00 1643本文向您讲解架构、框 ... -
UML实践----用例图、顺序图、状态图、类图、包图、协作图
2011-09-07 10:01 1939面向对象的问题的处理 ... -
UML建模之时序图
2011-09-06 20:19 2980http://www.uml.org.cn/oobject/2 ... -
UML 活动图
2011-09-06 20:13 1426UML 活动图记录单个操作 ... -
UML 状态图
2011-09-06 20:04 1290http://www.uml.org.cn/oobject/2 ... -
三种模型
2011-09-06 19:22 1345《uml面向对象建模与设计》本书提出了一套面向对象的表示 ... -
5 款基于 Web 浏览器的建模工具
2011-09-05 10:29 1240http://www.oschina.net/news/209 ... -
UML用例图
2011-09-02 16:31 5023一、UML用例建模简介 ... -
深入浅出REST
2011-08-19 09:48 1137不知你是否意识到,围绕着什么才是实现异构的应用到应用通信的“正 ... -
数据量非常大的照片分享社区网站架构设计
2011-07-21 21:31 9476数据库一向是网站架构中最具挑战性的,瓶颈通常出现在这里。又拍网 ... -
相关知识
2011-07-04 16:34 1245(二) 架构的分类 架构由于应用的不同而存在不同。大体而言, ... -
软件需求分析方法总结--轻巧建模之需求篇(二)
2011-06-27 23:07 1984http://hi.baidu.com/tdskee/blog ... -
软件需求分析方法总结--轻巧建模之需求篇(一)
2011-06-27 23:05 2214需求从哪儿来? 来自于项目甲方,还是直接或间接的用户、经 ... -
软件需求分析方法总结--撰写优秀的需求
2011-06-27 23:04 1600软件需求常常被写得很糟且难于遵循。清楚地阐明你的需求将使每位项 ... -
软件需求分析方法总结--如何分析问题和需求
2011-06-27 23:03 2267如何分析问题和需求 万事开头难,需求没有完全分析清楚,系 ... -
软件需求分析方法总结--如何进行软件需求分析(三)
2011-06-27 23:02 14328.需求分析的过程 需 ...
相关推荐
大流量、高并发的网站的底层系统架构.pdf
高并发高流量网站架构 博文链接:https://hudeyong926.iteye.com/blog/813172
大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 大型动态应用系统又可分为几个子...
大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。大型动态应用系统又可分为几个子...
从架构视角来看,秒杀系统本质是一个高性能、高一致、高可用的三高系统。而打造并维护一个超大流量的秒杀系统需要进行哪些关注。本文主要介绍有关于秒杀系统的设计和底层实现原理。 一、通过对需求分析,我们提炼出...
9、支持网站首页自定义,允许设置网站首页地址为系统大首页、各模块首页,或自定义URL地址/页面;提供全站Google地图生成。 10、支持网站流量统计。 ---------- 其他30余个应用模块请查看各自模块功能介绍 --------...
强大SEO优化配置功能,让搜索引擎快速发现,提升网站流量; 完整的内容后台审核体系,敏感字过滤。良好的运营监控体系; 标签管理,标签化管理碎片数据; 淘宝客账号灵活配置,轻松赚取淘宝佣金; 网站图片支持...
3.2设备监控和用户行为跟踪双核心 新一代wlan 网络监控和用户行为分析系统从内部框架实现设备监控和用户行为跟踪双核心,站在用 户行为分析的角度,为网络运维、网络优化和网络安全提供更有价值的信息。 3.3 wlan ...
姓 名:刘小圈 性 别:男 出生日期:1982/6 婚姻状况:未婚 专 业:计算机应用 学 历...△ 负责数据库审计、大流量用户管理、校园网、联通 U 盾等其他省市联通业务开发; △ 负责大企业上网行为管理系统开发及实施。
它们给人们的生活带来了极大的便利,人们待在家里浏览一些购物网站就可以找到自己心仪的商品,然后按照一定的流程操作就可以获得该商品,极大的节约了人们的时间。 在本论文中,从研究背景到需求分析都做出了很好的...
动软图片分享系统是基于动软分享社区系统开发的一套新模板,包括图片分享,视频分享,个人动态分享,小组,专辑等功能,非常适合于专注于图片互动的社区网站。支持多图片批量上传,一键采集其他网站图片,可基于地理...
充分考虑了底层大数据量并发的性能问题 ; 图片上传支持云存储解决方案,不占带宽,无并发,高速访问; 多元化分享 发布心情、微博、个人动态、话题等; 照片分享,建立搭配,晒货,抓拍,旅游等图片分享社区; 分享...
JIEQI CMS采用灵活、快速、可靠的 PHP 动态语言开发,配合 MySQL 数据库以及开源的 Linux/Unix 操作系统,设立了自动缓存机制,能够以最低的成本完成大流量网站的建设。 · 系统需求 要发挥 JIEQI CMS 系统的全部...
强大SEO优化配置功能,让搜索引擎快速发现,提升网站流量 ; 完整的内容后台审核体系,敏感字过滤。良好的运营监控体系 ; 标签管理,标签化管理碎片数据; 淘宝客账号灵活配置,轻松赚取淘宝佣金。 网站图片...
现今企业的服务器的性能提升很大,所购买的服务器中大部分使用率都不高,这意味着 客户在架构中的投入未能被最有效地使用。通常工作负载一般只有5- 15%,资源还没有得到充分的利用,这导致了大量的硬件、空间以及...
底层架构平台由JSFRPC调用、JMQ消息服务及服务网格这三大基础通信技术构成,既能完成同步调用,又能完成异步消息通知,或者两者混合进行,兼容各种流行通信协议,并且支持跨语言,适用于各种线上及线下应用场景,...