`
rq2_79
  • 浏览: 239034 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

淘宝分布式数据处理实践

阅读更多

近日,由中科院计算所主办的“Hadoop 中国2010云计算大会”在北京召开,今年已是第四届举办。包括百度、淘宝和中移动在内的诸多企业都展示了基于Hadoop的应用。在本次大会上淘宝数据平台及产品部基础研发组周敏介绍了淘宝对Hadoop的功能扩展和改造,分布式数据仓库的构思,并着重介绍了对Hive实践以及改造。以下是周敏在本次大会的ppt节选。 

淘宝数据图

淘宝望目前有会员2亿左右,日均UV高达4000万,日交易量高达数亿元,每天产生大量的数据,所以部署了一个大规模的Hadoop集群,此集群规模为:

 1.总容量为9.3PB,利用率77.09%。

2.共有1100台机器。

3.Master:8CPU,48GB内存,SAS Raid。

4.Slave节点异构:

               8CPU/8CPU(HT)

               16G/24G内存

              1T*12/2T*6/1T*6 SATA JBOD

              12/20 slots

             

5.约18000道作业/天,扫描数据:约500TB/天用户数474人,用户组38个

其中,从两方面介绍了Slave的规模:

1.Slave机器异构

6T机器磁盘利用率较高

 Rebalance

单机速度控制:10M/s

每天9:00-23:30运行

2.Slave故障率

每周10-20次硬盘规章

 每周1-2次主板或其他故障

 

以下为淘宝基于Hadoop版本介绍

1.基于0.19.1

2.大量Patch,主要来自官方社区0.19.2,0.20,0.21等,少部分自己开发

3.Hadoop客户端和服务端代码开发分离,云梯管理员只负责服务端升级,并保持版本向下兼容。

在Hadoop功能方面的扩展有几个方面:

1.安全性

   密码认证

  扩展ACL,用户访问其他组的数据

2.Scheduler

   基于FairScheduler的改造

   slots动态调整

   各个组使用自己的资源

3.Slave单磁盘容错

   DataNode坏掉一块磁盘不需要停止,减少数据分发

  TaskTracker坏掉一块磁盘后不对作业造成影响

  周敏还介绍了淘宝在Master节点容灾的解决方案及将来在这方面的工作计划:

1.   3个Master+1个Standby节点

   配置文件一致,上传至SVN

2.    JobTracker无元数据,JobHistory每天备份七天前的历史文件

3.    NameNode和SecondaryNameNode

 Check point 1天做一次(晚上8点之后),降低NameNode启动时间

  Fsimage和edits同时通过NFS写到SNN上,元数据保存两份

4.Standby在NN或JT机时启用

周敏表示,在这方面还有很多工作要做:

1.JobTracker单点问题

  调度效率低下导致集群利用率不足

2.NameNode HA

  AvatarNode

3.Namenode内存瓶颈

Heap Size 40G,CMS gc之后23G

分布式NameNode ,Dynameic Partition Tree

4.Hadoop升级

5.OSD及CRUSH算法

由于数据量比较大,有些记录格式有错,使得自己编写MapReduce Job生成的数据总是少了一些,基于Hive很多的有点,所以项目就用Hive来写:

在使用Hive时的经验图

淘宝对Hive的使用时对一下几方面进行了改造:

1.UDFs

2.建立/删除临时函数

3.多线程Thrift server

4.GBK支持

5.完全JDBC

6.Multi Distinct Aggregation支持

7.认证与权限

8.bug fix

 

 

  淘宝将来在Hive方面的工作图

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics