[转]Yahoo持续的Pig/Hadoop(MapReduce)工作流

传送门：http://blog.sina.com.cn/s/blog_4a1f59bf0100utvd.html

 

主要内容我不用帖了，其实让我更有所得（或有所思）的是后面的评论：(贴一下，链接同上)

 

• medcl2011-08-31 15:09:40 [举报]

  Overnight success takes long time.~~
  
  

• 小史的窗户2011-10-16 19:38:18 [举报]

  我觉得超过谷歌不只是算法好就OK的

  来自小史的窗户的评论

• 做学问要朴实归真2011-10-18 12:52:08 [举报]

  回复 @小史的窗户 :Google有强大的研究团队，对于一些技术包括算法都有技术储备，然后在他们认为合适的时间发布合适的应用。

  来自做学问要朴实归真的评论

• 小史的窗户2011-10-18 20:23:01 [举报]

  回复 @做学问要朴实归真 :是的，你说两年内让MapRduce成为历史可有依据？

  来自小史的窗户的评论

• 做学问要朴实归真2011-10-19 11:46:01 [举报]

  回复 @小史的窗户 :MapReduce只适合作简单的计算，例如只有一个map或者一个map+一个reduce，它在当前的搜索领域应用效率不会成为瓶颈,但它的计算原理导致了其在复杂计算的效率低下，这在数据分析领域中尤为明显。

  来自做学问要朴实归真的评论

• 做学问要朴实归真2011-10-19 11:46:12 [举报]

  回复 @小史的窗户 :随着移动互联网的发展，数据分析将扮演越来越重要的角色（包括在搜索领域），MapReduce的性能瓶颈将不可避免，虽然不少大企业做了一些补丁与改 进，但这个瓶颈是由mapreduce的原理导致的，所以它必然会在主流计算中被淘汰。但它又是开源免费的，所以在很长一段时间内，它不会消失。

  来自做学问要朴实归真的评论

• 小史的窗户2011-10-19 22:43:19 [举报]

  回复 @做学问要朴实归真 :我没有学过数据分析，不太了解MapReduce的原理。但是我觉得以谷歌的实力推出的产品应该有很大的科学性。另外如果真的有缺陷，那么该产品推出了这么多年，也早应该有替代产品出现

  来自小史的窗户的评论

• 做学问要朴实归真2011-10-20 08:58:40 [举报]

  在Google提出 mapreduce时的搜索领域，MapReduce可以解决其大部分问题，但随着Google提出Perculator时，其mapreduce就被局 限在部分应用了，这部分应用包括数据过滤、排序等，即只有一个map或者一个map+reduce。 数据分析有些计算，用一个map+reduce解决不了，所以有幸能隐患。

  来自做学问要朴实归真的评论

• 小史的窗户2011-10-20 20:06:22 [举报]

  回复 @做学问要朴实归真 :哦，你是说现在谷歌以及做收索的研究重点不在数据分析领域，所以你有机会超越MapReduce？

  来自小史的窗户的评论

• 做学问要朴实归真2011-10-21 10:06:39 [举报]

  回复 @小史的窗户 :是的。任何一个技术都有它适应的领域，MapReduce技术开始于2003年，现在已经8年了。网络环境也已经进入移动互联网时代，搜索应用也发生了变化，MapReduce也在面临各种瓶颈。

  来自做学问要朴实归真的评论