参加百度的面试，面试官提了一个海量数据问题，貌似自己的回答没能让人家满意，纠结点是：
大规模数据一般先用hash来分为小的数据段，然后在内存里处理之，然而如果hash后hash值还是各不相同（及其变态的情况），怎么办？
回来思考了下，下面是自己的想法，大家说说看：
如果一遍hash后，数据还是十分单调，可以采用另一个hash函数，或者不是单纯按照hash值分类，而是按照hash后的值范围，例如，原来hash(query)%100, 现在可以1-10为一个文件，间隔10建立子数据集，应该能解决问题吧？
轻拍。。。
分享到：
相关推荐
海量数据处理的面试题中，通常会出现以下几个方面的问题： 1. 海量数据处理的定义和特点 2. 海量数据处理的方法和策略 3. set/map/multiset/multimap 等数据结构的应用 4. 海量数据处理中的分布式处理和并行计算 5....
面试中，海量数据处理问题是常见的考察点，本文总结了十道海量数据处理面试题，并提供了相应的解决方案。 一、海量日志数据，提取出某日访问百度次数最多的那个 IP 这是一个典型的 hash 表应用问题，解决方案是...
背景分布式一致性 hash 算法将哈希空间组织成一个虚拟的圆环，圆环的大小是，最终会得到一个 [0,] 之间的一个无符号整型，这个整数代表服务器的编号；多个服务
常用的海量数据面试笔试题处理方法，hash,trie,红黑树等。
一个简单的使用hash来实现从海量IP地址中查询是否存在待查找的IP地址。主要特点有： (1)使用批处理，一键自动编译，处理；可直接运行。 (2)完美的展示了hash在查询中的使用方法。
海量数据处理中常用到的技术 1. Bloom Filtering基本的Bloom Filtering支持快速的插入和查找操作，是一种hash表技术。基本的数据结构非常简单，容量为m的位数组，k个hash函数，将输入的n个元素存储在位数组里面。...
想挑战百度、腾讯、Google，海量数据处理面试集锦，理论结合具体事例分析！
大数据常用的处理算法总结，包括hash算法，分治算法，bloom filter，等等
海量用户GoRedis（hash）
另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。Hash可以通过散列函数将任意长度的输入变成固定长度的输出，也可以将不同的输入映射...
hash partitioning, list partitioning, interval partitioning, reference partitioning, composite partitioning等，相应的还有分区索引，借助分区技术，数据库设计人员和后期维护管理员解决因海量数据数据部署和...
1. 给定a、b两个文件，各存放50亿个url，每个url...4. 海量日志数据，提取出某日访问百度次数最多的那个IP。（利用hash分而治之，然后上归并，堆） 5. 在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，...
大数据量的问题是很多面试笔试中经常出现的问题，比如google、淘宝、百度、腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全...
#资源达人分享计划#
flask-hashing-Flask-Hashing 作为 Flask 的扩展, 提供了方便的函式来完成各种 HASH 数据处理
hash树建立的过程，hash树在关联规则的发现过程的应用。
应用称为hash关键字（引用单独一个hash）或hash桶（一个hash关键字集合）的字符串目录的优秀方法可大大节省磁盘空间并提高性能。hash是应用一个指定字符串算法的整数结果。有各式各样的hash算法，但最常用的是内置的...