- 浏览: 152069 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (113)
- Java工具类 (3)
- Hibernate (1)
- Struts>1&2 (0)
- Spring (0)
- Web前端 (1)
- 数据库 (2)
- 中间件 (3)
- 搜索引擎 (11)
- EJB (1)
- Log日志 (1)
- OS操作系统 (7)
- Java文档 (4)
- Security (1)
- Exception&Error (7)
- 日志&心情 (7)
- 开心一下 (3)
- 云计算 (41)
- Cache缓存 (4)
- MongoDB (1)
- OS操作系统 Linux (7)
- jquery (1)
- 机器学习 (2)
- Plugins (2)
- AJAX (1)
- Java工具 (1)
- WebService (1)
最新评论
-
a420144030:
你好,我想计算n篇文章的相似度,用mahout能处理吗,如何做 ...
mahout使用 -
di1984HIT:
OK,真的很牛啊
hadoop常见错误 -
xwl1991:
还真是这个问题 !
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
互联网络用户的剧增和宽带网络的普及,使得互联网络服务的本质是以海量数据处理为中心的服务。从搜索引擎、视频共享到电子商务,互联网络服务的成功与否在
很大程度上依赖于所提供数据的规模和质量,数据处理的及时性、有效数据的比例等。
Gordon Bell、Jim Gray和Alex Szalay在2006年1月的Computer杂志上发表的“Petascale
computational
systems”中指出,计算机科学正在发生变化,以数据密集(Data-intensive)型计算为主要趋势。高性能计算系统必须设计为一个均衡的系
统,不仅仅是单纯的处理器性能达到Peta级,而且也包括I/O和网络。数据的局部性(Data
Locality)在PB级的数据处理中显得尤为重要,即应该尽量让计算靠近数据存储而不是远程拷贝数据进行计算。Gordon的因特网经济模型表明,在
因特网上远程移动1字节数据的代价是昂贵的,这只有在平均每字节数据需要耗费10万个CPU指令周期处理时才是划算的。数据局部性对软件的设计提出了挑
战,因为大多数的中间件都未考虑数据移动的昂贵代价和未利用数据的缓存策略。
海量数据处理问题的挑战 海量数据处理能力面对的挑战是:
n 面对PB级数据,很难完全在内存中完成处理过程,很大程度上依赖于磁盘I/O,并且需要可扩展的处理能力
n 需要降低数据处理的成本,包括利用普通商用PC服务器组成的集群,最小化每单元计算能力、RAM和I/O的成本
n 需要保障在大规模计算过程中的可靠性
每18到24个月CPU频率和磁盘传输速率,RAM和磁盘容量会加倍,但是磁盘寻址时间由于音圈电机定位的限制其发展速度却近乎常数(每年不到5%)。
可扩展的海量数据计算必须从依赖于磁盘寻址时间(seek-time)的计算转到依赖于磁盘传输时间(transfer-time),即传统的关系数据库
系统技术不再适用。
Map/Reduce最早由Google研发人员提出。这种处理方式实际上是在数据存放的时候不建立索引,等实际处理数据的时候再将这些数据读入内存进行
排序,并可以将数据分隔在不同的机器上同时进行处理。Map/Reduce把对数据记录的所有操作都归结两个步骤:其中Map对现有数据做一个先期处理,
得到一个中间数据集,Reduce再对中间数据集进行去重、过滤等后期处理,最后得到所要的结果。在使用Map/Reduce框架时,待处理的数据先通过
顺序读磁盘进行分别处理,在内存中排序后交由合并程序进行后处理,尽量避免了磁盘的随机存取操作,使得海量数据的处理效率得到快速提高。
Yahoo的Hadoop
开
发人员经过试验,在10MB/s传输速率和10ms的磁盘寻道时间的情况下,更新1TB数据中的100M数据,如果使用基于传统B树的关系数据库系统,则
随机更新需要1000天,批处理更新需要100天,而使用顺序读取的排序/合并的新型数据处理方法(如Map/Reduce)只需要1天,即效率提高
100倍!
如果需要处理100T的数据集,在1个节点上,以50MB/s的速度扫描需要23天,而平均故障间隔时间(MTBF)为3年。如果在1000个节点的集群
上,33分钟可以完成扫描,但MTBF为1天。这就需要新的框架来实现可靠性的保障,同时这种可靠性也是可扩展和容易管理的。
转自http://www.huomo.cn
发表评论
-
用Sqoop把数据从HDFS导入到MYSQL
2012-10-27 23:30 2326转自:http://www.kaifajie.cn/mySQL ... -
大数据的储存:百度HDFS集群的数据压缩
2012-08-30 17:48 11642012年4月13日,由IT168(ITP ... -
用sqoop进行mysql和hdfs系统间的数据互导
2012-07-31 16:32 1899转自:http://abloz.com/2012/07/19/ ... -
从hive将数据导出到mysql
2012-07-31 16:31 1791转自:http://abloz.com/2012/07/20/ ... -
Hive SQL
2012-07-19 13:49 1406转自:http://www.tbdata.org/ ... -
Hive优化总结
2012-07-09 15:18 4279优化时,把hive sql当做ma ... -
hadoop/mapred 优化方法
2012-06-12 11:47 1377从三个方面着手优化 : 1. hadoop配置 2. ... -
hadoop集群dfs.data.dir目录权限问题导致节点无法启动
2012-06-11 18:32 6195安装使用Hive的时候发现文件无法从本地拷贝到hadoo ... -
hadoop中的balancer
2012-06-11 15:49 1116对于HDFS集群,经常长时间的运行,尤其是大量的delete操 ... -
Hadoop集群上使用Lzo压缩
2012-05-28 11:03 907转自:http://www.tech126.com/hadoo ... -
使用Hive读取Hbase中的数据
2012-05-23 13:12 2250转自:http://www.4ucode.com/Study/ ... -
在XP系统下配置eclipse集成hadoop开发
2012-05-05 11:09 1021一、目的:由于hadoop只能在Linux环境下运行,所以对于 ... -
使用Hive读取Hbase中的数据
2012-04-18 14:24 1065转自:http://www.4ucode.com/Study/ ... -
Web日志分析方法概述 让复杂的数据挖掘变得简单可行
2012-04-13 16:31 843志在计算机系统中是一个非常广泛的概念,任何程序都有可能输出日志 ... -
应用sqoop将MySQL数据库中的数据导入Hbase
2012-04-12 11:31 2042转自:http://www.bwxxkj.com/a/jish ... -
hadoop中的trash机制,恢复删除的文件
2012-03-31 13:46 2164Hadoop回收站trash,默认是关闭的。 1.修改con ... -
Hadoop 和DBMS 的互补性
2012-03-29 12:22 647随着Microsoft 也加入Hadoop 阵营,Hadoop ... -
Hadoop 中的两表join
2012-03-29 12:20 832转自:http://www.gemini52013 ... -
各版本编译hadoop eclipse plugin
2012-03-29 12:19 1360转自:http://www.gemini52013 ... -
hadoop常见错误
2012-03-24 13:04 1626错误1:bin/hadoop dfs 不能正常启动,持续提 ...
相关推荐
文档较详尽的讲述了MR的简介,MR初学分析示例(有代码)、MR特性,MR的执行过程(有代码),MR单元测试介绍(有代码)、HA的架构和配置、同时也向大众推荐了两本书。其中部分有较为详尽的链接以供参考。
(1)熟悉Hadoop开发包 (2)编写MepReduce程序 (3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...
林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境: 操作系统:Linux(建议Ubuntu16.04); Hadoop版本:3.2.2; 实验内容与完成情况: (一)...
2. 资源消耗:Hadoop MapReduce 需要大量的计算资源和存储资源,以支持大规模数据处理。 Hadoop MapReduce 是一种功能强大且可靠的并行处理框架,广泛应用于大数据处理和分析领域。但是,它也存在一些缺点,例如...
Hadoop开发基础 : Google三大论文: MapReduce超大机群上的简单数据处理.doc Hadoop开发基础 : Google三大论文: MapReduce超大机群上的简单数据处理.doc Hadoop开发基础 : Google三大论文: MapReduce超大机群上的简单...
4. 适合 PB 级以上海量数据的离线处理:MapReduce 非常适合处理大规模数据,但是不适合实时计算和流式计算。 MapReduce 的缺点包括: 1. 不擅长做实时计算:MapReduce 无法像 Mysql 一样,在毫秒或者秒级内返回...
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
Hadoop专业解决方案-第3章:MapReduce处理数据.docx
hadoop-mapreduce Hadoop MapReduce示例。 使用HDFS中存储的access.log文件,实现MapReduce以查找每个IP访问该网站的次数。先决条件: 已安装Hadoop。 将access.log文件复制到hdfs中。 假设它在hdfs:/// logs下用法...
3. MapReduce:MapReduce是Hadoop的分布式计算框架,用于处理大规模数据。 4. YARN:YARN是Hadoop的资源管理器,负责管理Hadoop集群的资源。 5. HBase:HBase是Hadoop的分布式数据库,用于存储结构化数据。 6. Hive...
03_Hadoop MapReduce与Hadoop YARN.zip
全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i/o、mapreduce应用程序开发;mapreduce的工作机制:mapreduce的类型和格式;mapreduce的特性:如何安装hadoop...
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。...
赠送jar包:hadoop-mapreduce-client-core-2.5.1.jar; 赠送原API文档:hadoop-mapreduce-client-core-2.5.1-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-core-2.5.1-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...
利用数据概要完成中位数与标准差计算。 数据集可以采用Ctrip数据集,计算内容可自定义。 实验(二):MapReduce计数器实验 在给定数据集上完成计数实验,可以用ctrip数据集或50w数据集。 实验(三):MapReduce布隆...
mapreduce在hadoop实现词统计和列式统计,mrwordcount工程是统计hadoop文件中的词数,mrflowcount工程是统hadoop文件中的列表
MapReduce起源,在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce,之后Doug Cutting基于这篇论文通过Java做了开源实现,Mapredce如今是作为Hadoop的核心组件之一,而HDFS是Hadoop的另外一个核心,此外...
赠送jar包:hadoop-mapreduce-client-core-2.7.3.jar; 赠送原API文档:hadoop-mapreduce-client-core-2.7.3-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-core-2.7.3-sources.jar; 赠送Maven依赖信息文件:...