TopK问题性能测试记录--分而治之

问题描述：从两亿个URL中找出出现次数最多的10个

1.测试准备：分两次随机生成2亿个url  

(1）数量：100,000,001   耗时：445,152

(2）数量：100,000,005   耗时：554,225

生成文件大小：2.88G

2.切分文件，每个文件大小：3,073K  共生成:987个文件    耗时:350,204

3.各取top100  共1,579,100B

4.统计TOP10   耗时：436,832

 

方法各处尚待改进，尤其是排序，采用的是Collections.sort  故效率较低

 

不过切分开来本身就挺耗时，如果采用改进型的BloomFilter  效率或许会大大提高