1：默认的mapreduce作业
hadoop在不指定mapper和reducer就运行mapreduce，只设置输入路径和输出路径，可以使用默认设置运行mapreduce作业
默认的输入格式是TextInputFormat
默认的mapper是Mapper类
默认的partitioner是hashpartitioner
默认的reducer是Reducer
默认情况下，只有一个reducer
没有设置map任务的数量，原因是该数量等于输入文件被划分成的分块数，取决于输入文件的大小以及文件块的大小
reducer的个数 在本地作业运行器上运行时，只支持0个或1个reducer,reducer最优个数与集群中可用的reducer任务槽数相关。通常将reducer数比总槽数稍微少一些，使用更多reducer
2：默认的Streaming作业
必须提供一个mapper，默认的mapper的输入格式是TextInputFormat产生的是LongWritable类型的键和Text类型的值，而Streaming的输出键和值都是Text类型
3：输入格式
输入分片与记录：一个输入分片就是一个有单个map操作来处理的输入块，每一个map操作只处理一个输入分片。
每个分片被划分为若干个记录，每条记录就是一个键/值对，map一个接一个地处理记录。在数据库的场景中，一个输入分片对应于一个表上的若个行，而一条记录对应到一行。
主要包括文本输入，二进制输入，多个输入，数据库输入
4：输出格式与输入格式类似
相关推荐
本文对MapReduce中的数据处理模型进行整体说明，分别对输入和输出的各种类及可口进行讲解，从而可以处理比如文件不分片，非文本文件，多个文件合并等问题
Hadoop 培训课程(3)MapReduce_1 MapReduce原理*** MapReduce执行过程** 数据类型与格式*** Writable接口与序列化机制*** ---------------------------加深拓展---------------------- MapReduce的执行过程源码分析
分析MapReduce 执行过程 Hadoop 的数据类型 输入文件格式化类InoutFormat 输出格式化类OutputFormat
第1章 初识Hadoop 1 第2章 关于MapReduce 19 第3章 Hadoop分布式文件系统 49 第4章 Hadoop的I/O操作 89 第5章 MapReduce应用开发 157 第6章 MapReduce的工作机制 205 第7章 MapReduce的类型与格式 241 第8章 ...
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
在海量数据的环境下，不可避免的也会碰到这种类型的需求，例如在数据分析时需要连接从不同的数据源中获取到的数据。不同于传统的单机模式，在分布式存储的下采用MapReduce编程模型，也有相应的处理措施和优化方法。...
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地...MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。
MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析。 本书是Hadoop权威参考，程序员可从中探索如何分析海量数据集，...