这里主要讲Aggregator, 在Pagerank计算中,由于每轮需要计算aggregation的值,即Hama中的globalError,这是一个每轮根据各个顶点value汇总进行reduce的聚合值,由于Pregel中即使顶点已经收敛,但其邻接顶点未收敛的话,他将被迫参与运算, 比如1->2, 3->2, 即使1收敛了,2,3未收敛的话,1同样将参与计算,无法halt,必须等到
MAXIMUM_CONVERGENCE_ERROR > globalError.get()
即所有顶点汇总的aggregation值小于自定义的MAXIMUM_CONVERGENCE_ERROR 时,才能有 voteToHalt();
即当前顶点才能停止计算,而不是当它收敛时就停止计算!
这是Pregel的一个大问题。GraphLab对此进行了解决。
分享到:
相关推荐
#资源达人分享计划#
Pregel 文档
pregel - 图卷积网络的Tensorflow实现
针对这一问题,提出基于Pregel-like的社会网络隐私保护方法。该方法避免了传统MapReduce模型在多次迭代处理时的数据反复迁移和作业连续调度等问题,利用“节点为中心”的思想,通过节点间消息传递和程序的多次迭代...
Colossus Papers: spanner, Pregel, Dremel, Caffeine. A second generation of google file system and large-scale distributed computing patforms and database
本文档比较了两个知名的计算模型Pregel和MapReduce的特点及其应用场景。
6个pdf,Google官方发布的。 [1]Bigtable: A Distributed Storage System for Structured Data [2]MapReduce: Simplified Data Processing on Large Clusters ...[6]Pregel: A System for Large-Scale Graph Processing
本文提出了一种新颖的基于Pregel的分布式子图匹配方法PDSM来回答大RDF图上的子图匹配查询。 在我们的方法中,基于广度优先搜索(BFS)将查询图转换为生成树。 提出了两种优化技术,以滤除部分没有希望的中间结果,并...
Giraph 是以 Hadoop 为基础开发的上层应用,其系统架构和计算模型与 Pregel 保持了一致。同时也在 Pregel 模型上增加了一些新的特性,如:out-of-core computation、edge-oriented input 等。Giraph 的目的是为了...
google的大规模图形处理引擎 Pregel的论文 In this paper we present a computational model suitable for this task. Programs are expressed as a sequence of iterations, in each of which a vertex can receive...
使用Pregel和PageRank算法进行图分析已实施的操作基于图度的社交图中大多数连接的用户。 基于单用户分离度。 输入是用户的ID-输出是具有用户的元组列表以及它们之间的分隔度。 两个定义的用户之间的隔离度(作为单个...
#资源达人分享计划#
在ArangoDB中引入Pregel框架,通过Worker算法、合成算法、pregelRunner模块来执行不同的实现方式。来试试吧!ArangoDB团队研究出一种算法,能够在一个图中识别出已连接的子图,文中以国家为例;在ArangoDB中引入...
Frequent Subgraph Mining Based on Pregel
许多非图结构的大数据,也常常会被转换为图模型后进行分析。 图数据结构很好地表达了数据之间的关联性。 关联性计算是大数据计算的核心——通过获得数据的关联性,可以从噪音很多的海量数据中抽取有用的信息。 很多...
因此,本文提出了一种基于Pregel-like系统的个性化社交网络隐私保护方法。 这种方法为不同的顶点提供了不同类型的隐私保护,并且在类似Pregel的系统中采用了“像顶点一样思考”的概念。 它通过顶点与程序多次迭代...
基于Pregel模型提出分布式保护节点影响力的匿名算法(anonymous protecting influence of nodes,APIN)。算法分解社会网络图得到<i>k</i>-核图,核数代表节点影响力,分裂节点匿名的同时保证原节点核数不变,从而...
预凝胶最短路径 Pregel 系统的最短路径算法。 使用 Apache Spark 和 GraphX API 实现。 Scala
9.1 图计算简介 9.2 Pregel简介 9.3 Pregel图计算模型 9.4 Pregel的应用实例