`
dengwenwei121
  • 浏览: 40961 次
  • 性别: Icon_minigender_1
  • 来自: 湖南
文章分类
社区版块
存档分类
最新评论

什么是hadoop

 
阅读更多

什么是Hadoop

按照正式的定义,Hadoop是一个开源的框架,可编写与运行分布式应用处理大规模数据。
分布式计算是一个宽泛并且不断变化的领域,但Hadoop与众不同之处在于以下几点。
1、方便一-Hadoop运行在由一般商用机器构成的大型集群上,或者如亚马逊弹性计算云
(EC2) 等云计算服务之上。
2、健壮一-Hadoop致力千在一般商用硬件上运行, 其架构假设硬件会频繁地出现失效。
它可以从容地处理大多数此类故障。
3、可扩展一-Hadoop通过增加集群节点,可以线性地扩展以处理更大的数据集。
4、简单一-Hadoop允许用户快速编写出高效的井行代码。
Hadoop的方便和简单让其在编写和运行大型分布式程序方面占尽优势。即使是在校的大学
生也可以快速、廉价地建立自己的Hadoop集群。另一方面,它的键壮性和可扩展性又使它胜任
雅虎和Facebook最严苛的工作。这些特性使Hadoop在学术界和工业界都大受欢迎。
图1-1 解释了如何与Hadoop集群交互。Hadoop集群是在同一地点用网络互连的一组通用机器。数据存储和处理都发生在这个机器"云"中 。不同的用户可以从独立的客户端提交计算"作业"到Hadoop ,这些客户端可以是远离Hadoop集群的个人台式机。
并非所有分布式系统的构建都如图1-1 所示的-样。下面,我们简要介绍一下其他的分布式

系统,以便更好地展现Hadoop所依据的设计理念。


分享到:
评论

相关推荐

    一分钟学懂大数据之什么是hadoop.mp4

    一分钟学懂大数据之什么是hadoop.mp4

    hadoop内部培训资料

    1. **什么是Hadoop?** Hadoop是由Doug Cutting和Mike Cafarella于2005年基于Nutch搜索引擎项目发展起来的,其核心设计灵感来源于Google的GFS(Google File System)和MapReduce。Hadoop是一个分布式文件系统(HDFS...

    HADOOP快速入门及搭建集群环境

    1.1 什么是HADOOP HADOOP是基于MapReduce编程模型的分布式计算框架,能够处理大规模数据集。HADOOP的核心组件包括HDFS(Hadoop Distributed File System)、MapReduce、YARN(Yet Another Resource Negotiator)。...

    hadoop基础知识扫盲

    大数据hadoop基础知识扫盲,初步了解什么是hadoop

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    藏经阁-Hadoop inthecloudThe What, Why.pdf

    什么是 Hadoop 在云端的应用?本文将从技术专家的角度,详细介绍 Hadoop 在云端的应用,包括为什么要部署 Hadoop 在云端、如何部署 Hadoop 在云端,以及 Hadoop 在云端的优势。 为什么要部署 Hadoop 在云端? ...

    分布式计算开源框架Hadoop入门实践.pdf

    一、什么是 Hadoop? Hadoop 是 Apache 开源组织的一个分布式计算开源框架,旨在提供一个高效、可靠、可扩展的计算平台,用于处理大规模数据集。Hadoop 的核心设计是基于 MapReduce 和 HDFS 两个主要组件。 二、...

    hadoop/bin目录文件,含hadoop.dll + winutils.exe

    标题中的“hadoop/bin目录文件,含hadoop.dll + winutils.exe”指的是在Apache Hadoop 2.6.3版本中,位于bin目录下的两个关键文件:hadoop.dll和winutils.exe。这两个文件对于Windows用户来说是至关重要的,因为...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    hadoop.dll & winutils.exe For hadoop-2.7.1

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...

    Hadoop权威指南第2版中文版

    首先,我们需要明白什么是Hadoop。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它允许用户在不了解分布式底层细节的情况下,开发分布式程序。换句话说,Hadoop为用户提供了处理大规模数据的工具和方法,...

    hadoop2.7.3的hadoop.dll和winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...

    hadoop.dll 和 winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它是由Apache软件基金会开发并维护的,旨在提供可靠、可扩展的数据处理能力。标题中的"hadoop.dll"和"winutils.exe"是Hadoop在...

    hadoop2.7.7对应的hadoop.dll,winutils.exe

    在Hadoop生态系统中,Hadoop 2.7.7是一个重要的版本,它为大数据处理提供了稳定性和性能优化。Hadoop通常被用作Linux环境下的分布式计算框架,但有时开发者或学习者在Windows环境下也需要进行Hadoop相关的开发和测试...

    hadoop环境缺少的hadoop.dll ,winutils.exe包

    在搭建Hadoop环境的过程中,经常会遇到一些特定的依赖问题,比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用,以及如何解决它们缺失的问题。 首先,`...

    hadoop2.6 hadoop.dll+winutils.exe

    标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...

    hadoop的hadoop.dll和winutils.exe下载

    在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说,它们在本地开发和运行Hadoop相关应用时必不可少。`hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供...

    hadoop.dll & winutils.exe For hadoop-2.6.0

    在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是两个关键组件,尤其对于Windows用户来说。本文将详细介绍这两个文件以及它们在Hadoop 2.6.0版本中的作用。 `hadoop.dll`是Hadoop在Windows环境下运行所必需的一...

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

Global site tag (gtag.js) - Google Analytics