如果对一个只包含ip地址文件进行统计,需要求出频率最高的前10个IP地址应该如何处理?文件2G,内存128MB。
解决办法:先拆分文件统计,然后再合并?
但如何处理如下的问题呢?
对于A,B两组机器,如果取top3,貌似A1,A2,A3就是。但如何避免A6和B6是同一个IP,如果相加会超过A1。其实答案应该是A6,A1,A2。
1 | 2 | 3 | 4 | 5 | 6 | |
A | 3000 | 2999 | 2998 | 2997 | 2996 | 2995 |
B | 1000 | 999 | 998 | 997 | 996 | 995 |
解决办法:
通过hash(ip)%2来避免同一个ip落在不同的机器上。
相关推荐
EXCEL 按列拆分工作薄 拆分文件 合并文件 程序没写死 不影响功能。出错请关了重开。
SQL大文件拆分工具SQLDumpSplitter
python脚本拆分bin文件
文本文件拆分成多个文件,特别是大文件拆分
SQLDumpSplitter 大Sql文件拆分成小文件,
CSV表格拆分,可以把一个CSV文件按固定行数拆分成多个文件
PDF文件拆分工具
把大的PDF文件拆分成指定大小文件,但是因为每页的文件大小不一定,就不能通过固定页数来拆分文件,这样子的话就需要我们通过计算来将文件拆分这指定大小的文件
将sdf文件拆分为单个pdb文件
按行把一个txt文件平均拆分成N个txt文件,结果是一行文本组成一个txt文件,适用于语料的按行切分。
c++调用python接口实现压缩拆分文件功能,压缩和拆分的功能都是python实现,有pythton源码,直接运行c++就可以。
按列将表拆分成单独的Excel文件 将Excel表按照指定的列分组拆分并另存为单独的Excel文件 例如:A列有10条数据,汇总后是三个员工,使用小工具可以将表按照每个员工拆分成单独的Excel文件 关键点: 1、小工具要与...
excel文件工作薄拆分成单独文件,将工作表信息按特定的信息拆分成单独的文件
可以将Excel文件按Sheet拆分成多个,支持批量拆分Excel文件,需要安装jre支持;适合批量拆分Excel需求;
大文件拆分
08_19_NDK_文件拆分_文件合并_大型应用跨平台解决方案08_19_NDK_文件拆分_文件合并_大型应用跨平台解决方案08_19_NDK_文件拆分_文件合并_大型应用跨平台解决方案08_19_NDK_文件拆分_文件合并_大型应用跨平台解决方案...
可以指定拆分大小为KByte级或Byte级,即可以将文件拆分为任意大小; 2.可直接写入软驱,检测软驱空间并做适当提示。支持UNC路径; 3.提供相应默认值并记录源文件信息,合并时可完全按原样恢复; 4.合并后校验; 5....
关于文件(音频)的拆分与合并
vc6.0 编译通过文件拆分与合并. 方便大家研究和学习、