本月博客排行
年度博客排行
-
第1名
青否云后端云 -
第2名
zw7534313 -
第3名
大家都说我很棒 - liyihz2008
- wy_19921005
- gengyun12
- hbxflihua
- e_e
- luxurioust
- dbagirl
- zysnba
- robotmen
- Alsmile
- gaozzsoft
- jywhltj
- cpongo1
- leslie26
- qepwqnp
- 解宜然
- cuityang
- gashero
- sichunli_030
- fantaxy025025
- vipbooks
- wallimn
- gdpglc
- ssydxa219
- javashop
- ranbuijj
- jickcai
- hanbaohong
- johnsmith9th
- appalese
- gaojingsong
- weiyides
- 淡看人生
- java-007
- zhangyi0618
- AVI
- laiyangdeli
- liunancun
- xpenxpen
- zhangdaiscott
- 龙哥IT
- nychen2000
- conkeyn
- ouanui
- lemonhandsome
- silverend
- jveqi
最新文章列表
MPI和map-reduce区别
mpi对于分布式文件存储(数据密集型、非计算密集型)支持较少,它适用于计算密集型,另外对于类似于hadoop的datanode、tasknode来讲,同一个工作站既做计算(task),又做存储(data),而且优先处理本地的数据,这样的设计比较优雅
Hadoop YARN(转)
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统,包括 Apache Pig(一种强大的脚本语言)和 Apache Hive(一个具有类似 SQL 界面的数据仓库解决方案)。
...
Using the Aggregate package in Java is explained
http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/aggregate/package-summary.html
使用 Map-Reduce 统计Web 服务器 access.log 日志文件
1.6. Map-Reduce
1.6.1. 使用 Map-Reduce 统计Web 服务器 access.log 日志文件
首先将web服务器access.log倒入到mongodb,参考 http://netkiller.github.io/article/log.html。 格式如下:
{
"_id" : ObjectId("5 ...
在eclipse下运行Map-Reduce程序
在eclipse下运行Map-Reduce程序:
1,在eclipse新建项目。
File-->New-->Other-->Map/Reduce
Project
项目名可以随便取,如
HadoopTest
。
复制
hadoop
安装目录
/src/exam ...