古时候,人们用牛来拉重物,当一头牛拉不动一根圆木的时候,他们不曾想过培育个头更大的牛。同样,我们也不需要尝试更大的计算机,而是应该开发更多的计算系统。
---------格蕾斯·霍伯
首先在了解Hadoop之前,先来看看以下数据:据IDC估计2006年“数字全球”项目的数据总量为0.18ZB,并且预测到2011年这个数字将达到1.8ZB,为2006年的10倍。1ZB相当于10的21次方字节的数据,或相当于1000EB,1000000PB,或者大家更熟悉的10亿TB的数据,这相当于世界上每个人一个磁盘驱动器的数量级。Hadoop架构作为MapReduce算法的一种开源应用,是应对海量数据的理想工具。
Apache Hadoop项目简介
Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)
Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。
MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;
HDFS----分布式文件系统,运行于大型商用机集群;
ZooKeeper----一个分布式的、高可用性的协调服务;
Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduce和HDFS集群上;
Chukwa------ 分布式数据收集和分析系统;
Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;
Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。
其中MapReduce和HDFS是Hadoop的核心
分享到:
相关推荐
从零开始一步步介绍如何搭建Hadoop集群
NULL 博文链接:https://chentao2110334-vip-qq-com.iteye.com/blog/1735844
买的资料书里面携带的,可搜索从零开始学hadoop教学,ppt讲的比较详细,适合有基础想要好好复习的人学习
非常好的了解hadoop的文章,入门级首选。(最短路径系列)
最短路径系列之一从零开始学习HADOOP,只要有一台能上网的计算机,就可以让读者在最短的时间内,学会Hadoop的初级开发。所以,这本书只讲干货,也就是必须要知道的Hadoop的最核心知识点,包括如何搭建Hadoop,如何写...
从零开始搭建Hadoop2的集群
从零开始构建一个网络搜索引擎是一个很大的计划,并且往往会遇到很多的问题。不仅是因为编写一个爬虫并索引页面的软件比较复杂,而且,一个这样的项目需要一个专门的团队来实现。项目中也包含许多随时都需要修改的...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第八讲Hadoop图文训练课程:Hadoop文件系统的操作. 此教程来自于王家林免费发布的3本Hadoop教程:云计算分布式大数据Hadoop实战高手之路(共3本书)...
hadoop从零开始 细节问题细得不能再细 新手绝对入门的圣经 1.细细品味Hadoop_Hadoop集群(第1期)_CentOS安装配置 2.细细品味Hadoop_Hadoop集群(第2期)_机器信息分布表 3.细细品味Hadoop_Hadoop集群(第3期)_...
在第四届中国云计算大会上,金山云CTO杨钢发表了《拒绝Hadoop,从零开始做大数据》的主题演讲,分享了金山云从无到有的技术演进。他透露,国内95%以上的网盘采用了Hadoop或直接购买存储设备,金山云偏偏没有采用大...
从零开始学Hadoop大数据分析.pptx
视频时长一小时半,当然也可以看另外一条链接:https://share.weiyun.com/UOWqIx61,不过它会更长一些(链接是我自己电脑上搞的hadoop,挂在腾讯微云,可以直接看的。不过我还是比较推荐看这里的视频)
此教程来自于王家林免费发布的3本Hadoop教程:云计算分布式大数据Hadoop实战高手之路(共3本书):1,王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师...
hadoop安装与配置 Hadoop,说白了就是让我们计算机的算力可以进行分散,小唐这个月的搭建是真的,啊啊啊啊啊,为了让后人避免踩坑,以及后续自己也可以回来看看,就简单的说一下自己的搭建流程。 咱们首先准备好这些...
hadoop安装与配置 Hadoop,说白了就是让我们计算机的算力可以进行分散,小唐这个月的搭建是真的,啊啊啊啊啊,为了让后人避免踩坑,以及后续自己也可以回来看看,就简单的说一下自己的搭建流程。 咱们首先准备好这些...
Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验
在ubuntu上从零开始配置Hadoop
王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作,进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Hadoop实战高手之路...