公司有可能要用hadoop了,我极其兴奋,开始自己先研究了
以下内容均是来自互联网和自己的实践。
主要是记录自己的学习过程。
首先是要知道什么是hadoop,这个东西有什么用。
hadoop 是 Doug cutting 创建的 ,起源于 Apache Nutch,(一个网络搜索引擎),它是lucene(文本搜索系统库)的一部分。
2003年google 发布了一遍论文:google分布式文件系统。GFS,这个可以解决在网页爬起和索引过程中的超大文件的存储需求。
2004年开始实现一个开源的实现,Nutch的分布式文件系统NDFS。
2004年google 发布了论文介绍他们的MapReduce系统
2005年Nutch实现了一个MapReduce,并且将主要的算法移植,用MapReduce+NDFS来运行。
2006年MapReduce+NDFS 被Nutch开发人员移出成为一个Lucene的子项目称为hadoop.
2008年hadoop成为了apache的顶级项目
2008年hadoop 在62秒内完成了1TB的数据的排列.
首先是要安装hadoop,我直接下的最新版本,hadoop2.0.3
系统用的是centOS6.3 64
安装hadoop 的时候碰到了以下问题,
虽然centOS 是可以选择自带jdk,但是是openJDK,前辈有经验说,有用别的jdk出很多问题的,所以推荐用sun的
yum -y remove java java..... 卸载java openjdk
安装jdk,上传jdk,二种方式,第一种ftp,第二种安装lrzsz: yum -y install lrzsz 用secureCRT 。第二种适合个人。
安装hadoop ,一种直接wget 下载,一种上传。我选的是第一种。
相关推荐
涵盖大数据hadoop、spark、scala、kafka和Linux-CentOS 6 基础和理论知识最全的思维导图,有助于学习大数据的小白自学
简要介绍了hadoop的发展历程、原理、特征以及基于hadoop的分布式系统的安装方法。
2017年3月,"人工智能"首次进入我国政府工作报告 浙江省发改委制定《浙江省"互联网+"人工智能三年行动实施方案》,建示范区 国外 2005年Hadoop项目研究分布式系统基础架构 2008年末,部分计算机研究人员认可"大数据...
记录AgeFades 成长历程。Java重点: SpringBoot 整合各大流行框架、项目的架构实战经验开阔视野、对各项 Java圈子技术的学习与记录。前端重点: 对当下流行的 Vue + React 的学习记录目的: 为了更好了解前端同事行为,...
总结 人工智能的发展历程 人工智能的标志性产品 人工智能应用现状和发展趋势 2-3-人工智能关键技术全文共14页,当前为第14页。 卷积神经网络主要用于图像处理特征。多层神经网络,将局部感受野、权值共享、亚采样这...
成长历程。 Java 重点: SpringBoot 整合各大流行框架、项目的架构实战经验 开阔视野、对各项 Java圈子技术的学习与记录。 前端 重点: 对当下流行的 Vue + React 的学习记录 目的: 为了更好了解前端同事行为,完成...
A、 利⽤分布式⽂件系统、数据仓库、关系数据库等实现对结构化、半结构化 和⾮结构化海量数据的存储和管理 B、 利⽤分布式并⾏编程模型和计算框架,结合机器学习和数据挖掘算法,实 现对海量数据的处理和分析 C、 ...
1.3_Hadoop生态系统简介 1.4_大数据的价值与应用 1.5_大数据发展趋势 2.1_华为大数据解决方案简介 2.2_华为大数据平台架构 2.3_华为大数据商业咨询服务总体方案 2.4_大数据开发团队与社区贡献 2.5_华为大数据...
京东大数据平台建设了完整的技术体系,包括离线计算、实 时计算和机器学习平台, 可以满足多种复杂应用场景的计算任务。 元数据管理、数据质量管理、任务调度、数据开发工具、流程中 心等构成了全面的数据运营工具...
TRS 大数据管理系统发展历程 TRS 全文数据库 TRS 非结构化数据库 TRS 大数据 管理系统 理解大数据-实践大数据全文共48页,当前为第16页。 TRS 大数据管理系统V7.0 理解大数据-实践大数据全文共48页,当前为第17页。...
TRS 大数据管理系统发展历程 TRS 全文数据库 TRS 非结构化数据库 TRS 大数据 管理系统 理解大数据-实践大数据(1)全文共46页,当前为第15页。 TRS 大数据管理系统V7.0 理解大数据-实践大数据(1)全文共46页,当前为第...
资源,脚本,泊坞窗映像,工具和文档的集合,主要与用于本地开发,学习目的和快速原型制作的分布式系统有关。 发展历程 的Ubuntu # install pip3 sudo apt install -y python3-pip # install virtualenv globally ...