Hadoop的源起——Lucene
l Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎
l 早期发布在个人网站和SourceForge,2001年年底成为apache软件基金会jakarta的一个子项目
l Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎
l 对于大数量的场景,Lucene面对与Google同样的困难。迫使Doug Cutting学习和模仿Google解决这些问题的办法
l 一个微缩版:Nutch
从lucene到nutch,从nutch到hadoop
l 2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,使Nutch性能飙升
l Yahoo招安Doug Cutting及其项目
l Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的 一部分正式引入Apache基金会。2006 年 3 月份,Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中
l 名字来源于Doug Cutting儿子的玩具大象
目前Hadoop达到的高度
l实现云计算的事实标准开源软件
l包含数十个具有强大生命力的子项目
l已经能在数千节点上运行,处理数据量和排序时间不断打破世界纪录
本文链接:hadoop简介,本文由领悟书生整理发表,转载请注明出处http://www.656463.com/article/375
相关推荐
hadoop简介,可以初步认识hadoop
1、Hadoop 简介 2、Hadoop 的发展历史 3、Hadoop 的特点 三、Hadoop 核心 1、分布式文件系统——HDFS 2、分布式计算框架——MapReduce 3、集群资源管理器——YARN 四、Hadoop 常用组件 五、Hadoop 在国内外的应用...
带图带说明:Hadoop简介及Apache Hadoop三种搭建方式
云计算简介,Hadoop简介,云计算环境下信息安全问题
Chapter11_Hadoop简介.pdf
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.pdf 福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.pdf 福建师范大学精品大数据导论课程系列 (5.3.1)--4.2 HDFS的简要介绍...
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.pdf 福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.pdf 福建师范大学精品大数据导论课程系列 (5.3.1)--4.2 HDFS的简要介绍...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
大数据概述包括: 大数据绪论,Hadoop简介,数据库技术历史和发展,分布式计算架构
Hadoop是现阶段数据开发的基础,Hadoop通常是指一个更广泛的概念—-Hadoop生态圈(基于或关于Hadoop的大数据开发的各种软件环境) 是Apache公司使用Java语言编写的开源的,分布式系统的基础架构 分布式就是,当储存...
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.rar
福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.rar
Hadoop本身是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的分布式架构 Hadoop提供了简单的编程模型能够对大量的数据进行分布式处理(The Apache Hadoop software library is a framework that allows ...
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算
简要介绍了hadoop的发展历程、原理、特征以及基于hadoop的分布式系统的安装方法。
Hadoop-0.21.0分布式集群配置.doc