《大数据时代的IT架构设计》从实际案例角度分析了各个领域(互联网、金融、教育)架构经验,对架构设计工作来说是不可多得的好东西,能集思广益。对有架构基础的人受益匪浅,值得阅读!
第1部分主要简述了Hadoop平台应用架构,3个实际架构分析来很好的描述了Hadoop技术架构的应用。
什么是Hadoop?
一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。http://hadoop.apache.org/ 在此不做介绍了
Hadoop技术在电信运营商上网日志处理中的应用架构
问题:传统基于CDR营销方案可能缺失大量有效客户信息,营销不准确。
解决方式:通过hadoop实现网上日志存储,提供数据挖掘处理,以保证精确营销。
1.日志数据处理
从用户日志中分析URL,通过抓取、对比、标记等工作对网页分类,在利用模型统计相关数据。
2.技术架构方案
方案介绍:
数据源:上网日志、用户基本信息等数据。来源:数据库、文件系统等
接口层:提供统一对外访问接口,负责同外部系统数据交换。包括数据采集接口,提供外部调用接口等。如日志采集,对外访问接口(webservice)
数据层:核心层,将数据源数据通过整理(过滤、转换、校验)定义成相应的数据模型,加载到分布式存储中(HBase)
功能层:实现数据流程模块的模块化处理,负责集群访问控制、系统报警日志管理、Hadoop集群运行管理等。
资源层:对物理资源层和系统平台层提供统一管理,以提供自动化部署和弹性运维能力。如增加、减少硬件、宕机等,系统如何自动优化部署调用等。
应用层:应用功能的具体算法实现。和业务关联模块
展示层:提供应用功能处理结果的展示。如WEB、图形、Execl等
房子设计好了,就靠自己造了!
Hadoop平台在金融银行业的应用架构
金融业务数据量快速增长,关系型数据库带来巨大压力。目前应对策略:
1、增加核心系统机器性能和存储空间,提高业务数据处理能力。 问题:增加核心系统的运营维护成本
2、备份历史数据,减轻核心系统的压力;问题:大量离线存储数据,历史数据查询缓慢
解决方案:通过hadoop架构存储银行离线数据,对数据进行挖掘分析,如快速响应历史查询等。
银行业务逻辑:
hadoop架构模式同案例一中的类似:
各个模块含义同方案一,在此不累赘
优酷土豆Hadoop平台开放之路
主要讲述了开发平台搭建过程中的安全问题:身份认证、用户权限、web界面访问控制等。
1、Linux终端随意连接
2、非法应用的连接
3、用户身份冒充
4、slave节点随意添加
解决方法:
1、引入Kerberos:分Identity Store 和KDC 两部分。其中Identity Store 主要包含身份认证信息,KDC 为密钥分发服务器。新增用户、新增节点需要在Kerberos 上分配相应的身份信息。
2、用户组信息控制
将用户的组信息持久化到一个独立的关系数据库中,进行集中管理。以及相应的管理工具DPM.
3、Web UI 访问控制
通过Token及用户身份绑定,实现权限控制。
下面展示下平台安全架构图
淘宝海量文件存储实践
主要对淘宝分布式文件系统TFS的介绍;地址:http://code.taobao.org/p/tfs/src/
文章中对存储机制、平滑扩容机制、运维管理、机房容灾等都做了详细的介绍,对架构有初步了解。
TFS是一个高可用、高性能、高可扩展的分布式文件系统,基于普通的Linux 服务器构建,主要提供海量非结构化数据存储服务。
TFS是一个高可用、高性能、高可扩展的分布式文件系统,基于普通的Linux 服务器构建,主要提供海量非结构化数据存储服务。
以数据块block为单位存储和组织数据,每个block 在集群中拥有全局唯一的数据块编号block id,block中的文件拥有一个block 内唯一的文件编号file id,
blockId+fieldId=标识唯一文件
NameServer:HA 来避免NameServer单点故障。
DataServer:一台机器上部署多个DataServer进程,通过心跳管理所用dataServer
本书分享的不少架构经验,给了不少启发!当然自动动手实践也很重要!
相关推荐
云计算:大数据时代的系统工程试读
本书从最切实可行的大数据方案选择方法着手,面向不懂大数据相关概念、不知道如何将大数据项目引入何种领域的IT团队和实际经营团队,以自己的实际经验为基础,创立并介绍了大数据项目构建方法。帮助需要引入大数据...
Spring cloud与docker高并发微服务架构设计实施(试读)
阿里巴巴集团技术丛书,大数据丛书。大型互联网公司大数据分析实践经验!大数据分析人员必修必学的内功。基于本书内容开发的数据分析工具已在阿里巴巴集团内部使用,取得显著效果。
本书致力于为一线架构师,以及软件企业提供务实有效的架构设计方法指导。 本书从架构师经常遇到的困惑出发,总结软件架构设计中经常遇到的问题,提出“方法体系必然是软件业界未来发展的重大趋势”这一观点;之后,...
余晟倾情作序,业界专家力荐,展现了一幅完整的App后台开发蓝图
数字化专项 架构参考模型
介绍。第 1 章主要介绍环境的搭建,包括 wamp/wnmp 环境以及 lamp/lnmp 环境。这些环境搭建是简单的。这里要重点理解的是 PHP 的核心配置,
电商大数据 用数据驱动商和商业案例解析,介绍真实的电商案例供大家学习。
产品圣经《Web信息架构》重磅新版 北极熊迈向移动|硬件|未来
深挖设计经典,完整再现设计的自然面貌
Java语言程序设计(基础篇)(英文版·第10版)试读版
那些以前已经体验过设计模式的读者可能希望跳过本书的第Ⅰ部分,这部分介绍了GoF提出的设计模式以及其他常见设计原则,包括S.O.L.I.D原则和Martin Fowler的企业设计模式。所有的代码示例均采用C#语言编写,但这些...
游戏界华人之光陈星汉隆重作序力荐 其恩师扛鼎力作|享誉全球|入门正宗
以Java语言为载体,通过讨论Java程序设计的一般过程和方法,重点讲述程序设计基础、面向对象程序设计、算法与数据结构、GUI程序设计和Web程序设计的知识,并涉及计算机科学基础、数据和控制、程序设计理论、软件工程...
交互设计师的书籍之一.以产品为核心,系统全面地介绍了设计流程和方法。写在书中的是搜狐新闻客户端UED团队一线经验的总结,不仅有很多实实在在的案例,更有对用户体验设计的思考和感悟,以及设计人员与产品、开发、运营...
这本书写的挺好的。。 IT项目经理成长手记试读样章.pdf
java程序设计大学教程试读+课件.rar
《Java程序设计《Java程序设计大学教程》试读版 大学教程》试读版 《Java程序设计大学教程》试读版