`
long_yu2
  • 浏览: 315714 次
社区版块
存档分类
最新评论

别拿Hadoop map key当id使

阅读更多

在写mapreduce时,发现一个问题:

hadoop的map函数的key一般是输入文件的行号,于是乎就希望把这个当作一个unique id来用,但是确出了很严重的问题,在分布式集群中,不同map任务中可能会有很多相同的行号,千万不能把这个key当作id.

分享到:
评论
1 楼 java_doom 2013-01-24  
这个行号根据什么来的 为什么不是连续的?

相关推荐

Global site tag (gtag.js) - Google Analytics