使用版本为V2.2
https://github.com/dato-code/PowerGraph
问题1:
执行./configure
出现问题: 找不到opencv, 无法从下载地址中抽取。。。。
查看CMakeFileList.txt文件:
解决方法: 手动下载operncv 3.4.3, 将其改为:
# OpenCV =================================================================
ExternalProject_Add(opencv
PREFIX ${GraphLab_SOURCE_DIR}/deps/opencv
URL ~/opencv-2.4.9.zip
问题解决
问题2: 继续执行./configure
CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
Please set them or make sure they are set and tested correctly in the CMake files:
JAVA_JVM_LIBRARY (ADVANCED)
linked by target "external_dependencies" in directory /home/liuqiang2/PowerGraph-master
linked by target "arbitrary_signal_test" in directory /home/liuqiang2/PowerGraph-master/tests
linked by target "async_consistent_test" in directory /home/liuqiang2/PowerGraph-master/tests
缺少JAVA_JVM_LIBRARY 变量定义,在总的CMakeList里增加:
set(JAVA_JVM_LIBRARY "~/jdk/jdk1.7.0_11/jre/lib/i386/server/libjvm.so")
message(${JAVA_JVM_LIBRARY})
3.由于PowerGraph太大,进入release/toolkit/graph_anaysitics 执行: make -j2 ,执行至86%时,发现/usr/bin/ld:skipping
incompatible ./libjvm.so when searching for -ljvm
发现libjvm.so的位数不对,只有32位,重新下载64,具体见http://blog.csdn.net/cloudeagle_bupt/article/details/49363095
将CMake总文件修改为:
set(JAVA_JVM_LIBRARY "~/jdk/jdk1.7.0_79/jre/lib/amd64/server/libjvm.so")
message(${JAVA_JVM_LIBRARY})
编译100%通过.
其他可能会有些链接问题,做个软链接就行了....
./pagerank 测试单机版能否运行.
吼吼吼,继续运行,安装最新版本mpi
顺利完成,
进入目录:
[liuqiang2@mu02 graph_analytics]$ pwd
/home/liuqiang2/PowerGraph-master/release/toolkits/graph_analytics
[liuqiang2@mu02 graph_analytics]$ mpiexec -f ~/mpi/hosts -n 2 ./pagerank --powerlaw=10000000
mpiexec -f ~/mpi/hosts -n 30 ./pagerank --format=snap --graph=280w_cpl.txt --iterations=30
运行,OK.
如果需要HDFS运行:
首先确保hadoop 的classpath正确:
[liuqiang2@mu02 graph_analytics]$ hadoop classpath
/opt/hadoop-1.2.0/libexec/../conf:/home/liuqiang2/jdk/jdk1.7.0_79/lib/tools.jar:/opt/hadoop-1.2.0/libexec/..:/opt/hadoop-1.2.0/libexec/../hadoop-core-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/asm-3.2.jar:/opt/hadoop-1.2.0/libexec/../lib/aspectjrt-1.6.11.jar:/opt/hadoop-1.2.0/libexec/../lib/aspectjtools-1.6.11.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-beanutils-1.7.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-beanutils-core-1.8.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-cli-1.2.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-codec-1.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-collections-3.2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-configuration-1.6.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-daemon-1.0.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-digester-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-el-1.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-httpclient-3.0.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-io-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-lang-2.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-logging-1.1.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-logging-api-1.0.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-math-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-net-3.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-pool-1.5.6.jar:/opt/hadoop-1.2.0/libexec/../lib/core-3.1.1.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-capacity-scheduler-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-fairscheduler-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-thriftfs-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hama-commons-0.6.4.jar:/opt/hadoop-1.2.0/libexec/../lib/hama-core-0.6.4.jar:/opt/hadoop-1.2.0/libexec/../lib/hsqldb-1.8.0.10.jar:/opt/hadoop-1.2.0/libexec/../lib/jackson-core-asl-1.8.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jackson-mapper-asl-1.8.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jasper-compiler-5.5.12.jar:/opt/hadoop-1.2.0/libexec/../lib/jasper-runtime-5.5.12.jar:/opt/hadoop-1.2.0/libexec/../lib/java_memcached-release_2.6.6.jar:/opt/hadoop-1.2.0/libexec/../lib/jdeb-0.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-core-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-json-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-server-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jets3t-0.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/jetty-6.1.26.jar:/opt/hadoop-1.2.0/libexec/../lib/jetty-util-6.1.26.jar:/opt/hadoop-1.2.0/libexec/../lib/jsch-0.1.42.jar:/opt/hadoop-1.2.0/libexec/../lib/junit-4.5.jar:/opt/hadoop-1.2.0/libexec/../lib/kfs-0.2.2.jar:/opt/hadoop-1.2.0/libexec/../lib/log4j-1.2.15.jar:/opt/hadoop-1.2.0/libexec/../lib/mockito-all-1.8.5.jar:/opt/hadoop-1.2.0/libexec/../lib/mongo-2.10.1.jar:/opt/hadoop-1.2.0/libexec/../lib/oro-2.0.8.jar:/opt/hadoop-1.2.0/libexec/../lib/servlet-api-2.5-20081211.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-api-1.4.3.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-api-1.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-log4j12-1.4.3.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-simple-1.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/xmlenc-0.52.jar:/opt/hadoop-1.2.0/libexec/../lib/jsp-2.1/jsp-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/jsp-2.1/jsp-api-2.1.jar
[liuqiang2@mu02 graph_analytics]$ mpiexec -f ~/mpi/hosts -env CLASSPATH=`hadoop classpath` -n 30 ./pagerank --format=snap --graph=hdfs://mu02:9000/test/280w_cpl.txt --iterations=30
分享到:
相关推荐
基于PowerGraph的并行Tucker分解算法不仅解决了传统Tucker分解算法在处理大规模数据时的效率问题,还充分利用了现代分布式计算的优势。未来,随着硬件技术和分布式计算框架的不断发展,我们可以期待更多高效、灵活的...
在site/js/安装所需的javascript文件: 模块,改善了复合支持 例子 有关自动设置站点的示例,请参见Makefile 。 例如,为Cytoscape.js的基本用法提供make basics 。 冒泡到cytoscape.js make_from_bubble.py ...
PowerGraph的CMakeList.txt中,安装deps依赖包的好多下载地址失效,2021-5-26更新CMakeList.txt并成功编译
3 配置文件自述文件 3profileLocal 本地 3-profile 计数。 给定一个无向图,该程序计算所有子图在 3 个顶点上的频率(直至同构)。 文件 counts_3_profiles.txt 附加有输入文件名、边采样概率、图形的 3-profile ...
如何编译GossipMap是用C ++实现的,并且使用GraphLab PowerGraph进行分布式内存并行处理,因此在使用GossipMap之前必须先安装GraphLab PowerGraph v2.2。 您可以从找到GraphLab PowerGraph。 您可以按照GraphLab ...
JPowerGraph是一个Java库,用于为Swing和SWT创建有向图。 它支持图形移动,选择,上下文菜单,工具提示和动态边创建。 JPowerGraph具有基于TouchGraph中使用的弹簧布局算法。
其中,PowerGraph/PowerLyra在处理大规模图数据时虽然表现出良好的并行性,但在计算密集型任务中,如PageRank,其性能并不理想,原因在于计算局部性和CPU利用率低。为了解决这些问题,后来的系统如Gemini引入了...
安装PowerGraph所需的压缩包,libevent-2.0.18-stable.tar.gz。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
从早期的PageRank到现代的图神经网络(GNN)如GCN、GraphSAGE等,图计算框架如Pregel、PowerGraph、Gemini、Angel-Graph等,以及图数据库如Neo4j、Titan、TigerGraph等。这些技术的发展为解决大规模图数据的存储和...
3. 图计算框架:如Giraph、Pregel、PowerGraph等,它们提供了分布式图计算的基础架构,使得处理大规模图数据成为可能。 4. 图数据库:介绍了图存储的基本原理和操作,包括如何创建、查询和更新图数据,以及如何优化...
然而,这种复制机制也引入了一个关键问题——数据一致性问题。 当一个顶点的多个副本存在于不同的机器上时,如何确保这些副本之间的一致性就成为一个重要的挑战。在传统的分布式系统中,通常采用“急切”(Eager)...
图计算框架的发展经历了多个阶段,从早期的Pregel、PowerGraph到后来的GraphX、Gemini,再到AngelGraph等,都在尝试解决大规模图计算的效率和可扩展性问题。然而,现有的图计算框架面临着性能、易用性和资源管理的...
例如,在本地机器上训练模型时,可能会遇到资源隔离和自动扩展的问题,而使用云平台提供的服务如AmazonWebService或Google Cloud Platform,可以有效地解决这些问题。 云机器学习平台的基本架构包括应用层、机器...
此外,还有其他一些算法或框架在文章中被提及,例如LDG、Powergraph、FENNEL以及PowerLyra,后者是基于Vertex-cut和FENNEL的混合划分方式,以优化网络的通信效率和处理性能。 综上所述,图划分算法的研究和应用是一...
在分布式计算领域,随着图数据规模的不断增大及其重要性的日益凸显,一系列专门针对图处理的系统应运而生,如Pregel、PowerGraph等。这些系统通过提供专门的抽象接口,并结合特定于图的优化技术,可以高效地执行诸如...
STB Powergraph Video Seven VGA, including Video Seven FastWrite Video Seven 1024i Video Seven VRAM Video Seven VRAM II Western Digital VGA * NOTE: MS-DOS applications run on Trident ...
然而,Hadoop在处理具有复杂关系的图数据方面存在不足,因此需要融入并行计算工具如PowerGraph,以提高数据处理和查询速率。 在数据存储管理方面,传统数据挖掘通常采用行存储方式,使用关系数据库系统进行多维数据...
此外,BigGraph支持多种图计算模型,如Pregel、Giraph和PowerGraph,以适应不同的业务需求。 在使用BigGraph时,用户需要注意以下几点: 1. **文档使用权限**:用户必须通过阿里云官方网站或授权渠道获取并使用...
最后,Spark的“巧”在于其与现有大数据组件的结合,比如与Hadoop的无缝整合以及在图计算中采用Pregel和PowerGraph的相关API和设计理念。 文档接着阐述了Spark的技术架构和基本功能,强调了其采用的Master-Slave...
Transformer具有两个独特的贡献:首先,它提供了一个统一运行时系统下的编程抽象,可用于不同编程模型的实现,如Dryad、Spark、Pregel和PowerGraph。其次,Transformer支持一种高效且透明的数据共享机制,它将不同的...