`

hadoop保留mapreduce过程中的中间文件

阅读更多
今天在做hadoop测试时想保留map过后的中间文件,试了几次,发现通过以下设置可解决。
<property>
  <name>keep.failed.task.files</name>
  <value>true</value>
</property>
  <property>
  <name>keep.task.files.pattern</name>
  <value>*</value>
  </property>
这样所有中间临时文件都会被保存,map临时文件位于{hadoop.tmp.dir}/mapred/local/tasktracker/
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics