`

《大数据时代的IT架构设计》试读

 
阅读更多

     《大数据时代的IT架构设计》从实际案例角度分析了各个领域(互联网、金融、教育)架构经验,对架构设计工作来说是不可多得的好东西,能集思广益。对有架构基础的人受益匪浅,值得阅读!

       第1部分主要简述了Hadoop平台应用架构,3个实际架构分析来很好的描述了Hadoop技术架构的应用。

       什么是Hadoop?

       一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。http://hadoop.apache.org/  在此不做介绍了

      Hadoop技术在电信运营商上网日志处理中的应用架构

      问题:传统基于CDR营销方案可能缺失大量有效客户信息,营销不准确。

      解决方式:通过hadoop实现网上日志存储,提供数据挖掘处理,以保证精确营销。

      1.日志数据处理

          从用户日志中分析URL,通过抓取、对比、标记等工作对网页分类,在利用模型统计相关数据。

 


       2.技术架构方案

       

方案介绍:

数据源:上网日志、用户基本信息等数据。来源:数据库、文件系统等

接口层:提供统一对外访问接口,负责同外部系统数据交换。包括数据采集接口,提供外部调用接口等。如日志采集,对外访问接口(webservice)

数据层:核心层,将数据源数据通过整理(过滤、转换、校验)定义成相应的数据模型,加载到分布式存储中(HBase)

功能层:实现数据流程模块的模块化处理,负责集群访问控制、系统报警日志管理、Hadoop集群运行管理等。

资源层:对物理资源层和系统平台层提供统一管理,以提供自动化部署和弹性运维能力。如增加、减少硬件、宕机等,系统如何自动优化部署调用等。

应用层:应用功能的具体算法实现。和业务关联模块

展示层:提供应用功能处理结果的展示。如WEB、图形、Execl等

 

房子设计好了,就靠自己造了!

 

      Hadoop平台在金融银行业的应用架构

 

金融业务数据量快速增长,关系型数据库带来巨大压力。目前应对策略:

1、增加核心系统机器性能和存储空间,提高业务数据处理能力。 问题:增加核心系统的运营维护成本

2、备份历史数据,减轻核心系统的压力;问题:大量离线存储数据,历史数据查询缓慢

解决方案:通过hadoop架构存储银行离线数据,对数据进行挖掘分析,如快速响应历史查询等。

银行业务逻辑:

 

 

 hadoop架构模式同案例一中的类似:



 各个模块含义同方案一,在此不累赘

     

       优酷土豆Hadoop平台开放之路

 主要讲述了开发平台搭建过程中的安全问题:身份认证、用户权限、web界面访问控制等。

1、Linux终端随意连接

2、非法应用的连接

3、用户身份冒充

4、slave节点随意添加

 解决方法:

1、引入Kerberos:分Identity Store 和KDC 两部分。其中Identity Store 主要包含身份认证信息,KDC 为密钥分发服务器。新增用户、新增节点需要在Kerberos 上分配相应的身份信息。

2、用户组信息控制

将用户的组信息持久化到一个独立的关系数据库中,进行集中管理。以及相应的管理工具DPM.

3、Web UI 访问控制

通过Token及用户身份绑定,实现权限控制。

下面展示下平台安全架构图



 

 

淘宝海量文件存储实践

 主要对淘宝分布式文件系统TFS的介绍;地址:http://code.taobao.org/p/tfs/src/

文章中对存储机制、平滑扩容机制、运维管理、机房容灾等都做了详细的介绍,对架构有初步了解。

TFS是一个高可用、高性能、高可扩展的分布式文件系统,基于普通的Linux 服务器构建,主要提供海量非结构化数据存储服务。



 

TFS是一个高可用、高性能、高可扩展的分布式文件系统,基于普通的Linux 服务器构建,主要提供海量非结构化数据存储服务。

 

以数据块block为单位存储和组织数据,每个block 在集群中拥有全局唯一的数据块编号block id,block中的文件拥有一个block 内唯一的文件编号file id,

blockId+fieldId=标识唯一文件

 

NameServer:HA 来避免NameServer单点故障。

DataServer:一台机器上部署多个DataServer进程,通过心跳管理所用dataServer

 

本书分享的不少架构经验,给了不少启发!当然自动动手实践也很重要!

  • 大小: 45.9 KB
  • 大小: 83.1 KB
  • 大小: 40.9 KB
  • 大小: 67.9 KB
  • 大小: 48.3 KB
  • 大小: 62.5 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics