`
cloudeagle_bupt
  • 浏览: 568752 次
文章分类
社区版块
存档分类
最新评论

PowerGraph安装问题测试记录

 
阅读更多


使用版本为V2.2

https://github.com/dato-code/PowerGraph



问题1:

执行./configure


出现问题: 找不到opencv, 无法从下载地址中抽取。。。。

查看CMakeFileList.txt文件:


解决方法: 手动下载operncv 3.4.3, 将其改为:

# OpenCV =================================================================
ExternalProject_Add(opencv
PREFIX ${GraphLab_SOURCE_DIR}/deps/opencv
URL ~/opencv-2.4.9.zip

问题解决


问题2: 继续执行./configure

CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
Please set them or make sure they are set and tested correctly in the CMake files:
JAVA_JVM_LIBRARY (ADVANCED)
linked by target "external_dependencies" in directory /home/liuqiang2/PowerGraph-master
linked by target "arbitrary_signal_test" in directory /home/liuqiang2/PowerGraph-master/tests
linked by target "async_consistent_test" in directory /home/liuqiang2/PowerGraph-master/tests

缺少JAVA_JVM_LIBRARY 变量定义,在总的CMakeList里增加:

set(JAVA_JVM_LIBRARY "~/jdk/jdk1.7.0_11/jre/lib/i386/server/libjvm.so")
message(${JAVA_JVM_LIBRARY})


3.由于PowerGraph太大,进入release/toolkit/graph_anaysitics 执行: make -j2 ,执行至86%时,发现/usr/bin/ld:skipping incompatible ./libjvm.so when searching for -ljvm

发现libjvm.so的位数不对,只有32位,重新下载64,具体见http://blog.csdn.net/cloudeagle_bupt/article/details/49363095

将CMake总文件修改为:


set(JAVA_JVM_LIBRARY "~/jdk/jdk1.7.0_79/jre/lib/amd64/server/libjvm.so")

message(${JAVA_JVM_LIBRARY})


编译100%通过.


其他可能会有些链接问题,做个软链接就行了....


./pagerank 测试单机版能否运行.


吼吼吼,继续运行,安装最新版本mpi


顺利完成,


进入目录:

[liuqiang2@mu02 graph_analytics]$ pwd
/home/liuqiang2/PowerGraph-master/release/toolkits/graph_analytics

[liuqiang2@mu02 graph_analytics]$ mpiexec -f ~/mpi/hosts -n 2 ./pagerank --powerlaw=10000000

mpiexec -f ~/mpi/hosts -n 30 ./pagerank --format=snap --graph=280w_cpl.txt --iterations=30

运行,OK.


如果需要HDFS运行:

首先确保hadoop 的classpath正确:

[liuqiang2@mu02 graph_analytics]$ hadoop classpath

/opt/hadoop-1.2.0/libexec/../conf:/home/liuqiang2/jdk/jdk1.7.0_79/lib/tools.jar:/opt/hadoop-1.2.0/libexec/..:/opt/hadoop-1.2.0/libexec/../hadoop-core-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/asm-3.2.jar:/opt/hadoop-1.2.0/libexec/../lib/aspectjrt-1.6.11.jar:/opt/hadoop-1.2.0/libexec/../lib/aspectjtools-1.6.11.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-beanutils-1.7.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-beanutils-core-1.8.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-cli-1.2.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-codec-1.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-collections-3.2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-configuration-1.6.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-daemon-1.0.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-digester-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-el-1.0.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-httpclient-3.0.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-io-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-lang-2.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-logging-1.1.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-logging-api-1.0.4.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-math-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-net-3.1.jar:/opt/hadoop-1.2.0/libexec/../lib/commons-pool-1.5.6.jar:/opt/hadoop-1.2.0/libexec/../lib/core-3.1.1.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-capacity-scheduler-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-fairscheduler-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hadoop-thriftfs-1.2.0.jar:/opt/hadoop-1.2.0/libexec/../lib/hama-commons-0.6.4.jar:/opt/hadoop-1.2.0/libexec/../lib/hama-core-0.6.4.jar:/opt/hadoop-1.2.0/libexec/../lib/hsqldb-1.8.0.10.jar:/opt/hadoop-1.2.0/libexec/../lib/jackson-core-asl-1.8.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jackson-mapper-asl-1.8.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jasper-compiler-5.5.12.jar:/opt/hadoop-1.2.0/libexec/../lib/jasper-runtime-5.5.12.jar:/opt/hadoop-1.2.0/libexec/../lib/java_memcached-release_2.6.6.jar:/opt/hadoop-1.2.0/libexec/../lib/jdeb-0.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-core-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-json-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jersey-server-1.8.jar:/opt/hadoop-1.2.0/libexec/../lib/jets3t-0.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/jetty-6.1.26.jar:/opt/hadoop-1.2.0/libexec/../lib/jetty-util-6.1.26.jar:/opt/hadoop-1.2.0/libexec/../lib/jsch-0.1.42.jar:/opt/hadoop-1.2.0/libexec/../lib/junit-4.5.jar:/opt/hadoop-1.2.0/libexec/../lib/kfs-0.2.2.jar:/opt/hadoop-1.2.0/libexec/../lib/log4j-1.2.15.jar:/opt/hadoop-1.2.0/libexec/../lib/mockito-all-1.8.5.jar:/opt/hadoop-1.2.0/libexec/../lib/mongo-2.10.1.jar:/opt/hadoop-1.2.0/libexec/../lib/oro-2.0.8.jar:/opt/hadoop-1.2.0/libexec/../lib/servlet-api-2.5-20081211.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-api-1.4.3.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-api-1.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-log4j12-1.4.3.jar:/opt/hadoop-1.2.0/libexec/../lib/slf4j-simple-1.6.1.jar:/opt/hadoop-1.2.0/libexec/../lib/xmlenc-0.52.jar:/opt/hadoop-1.2.0/libexec/../lib/jsp-2.1/jsp-2.1.jar:/opt/hadoop-1.2.0/libexec/../lib/jsp-2.1/jsp-api-2.1.jar



[liuqiang2@mu02 graph_analytics]$ mpiexec -f ~/mpi/hosts -env CLASSPATH=`hadoop classpath` -n 30 ./pagerank --format=snap --graph=hdfs://mu02:9000/test/280w_cpl.txt --iterations=30



分享到:
评论

相关推荐

    基于PowerGraph的并行Tucker分解及应用之软件工程分析.docx

    基于PowerGraph的并行Tucker分解算法不仅解决了传统Tucker分解算法在处理大规模数据时的效率问题,还充分利用了现代分布式计算的优势。未来,随着硬件技术和分布式计算框架的不断发展,我们可以期待更多高效、灵活的...

    powergraph.js:基于Cytoscape.js的PowerGraph可视化(概念验证

    在site/js/安装所需的javascript文件: 模块,改善了复合支持 例子 有关自动设置站点的示例,请参见Makefile 。 例如,为Cytoscape.js的基本用法提供make basics 。 冒泡到cytoscape.js make_from_bubble.py ...

    CMakeLists.txt

    PowerGraph的CMakeList.txt中,安装deps依赖包的好多下载地址失效,2021-5-26更新CMakeList.txt并成功编译

    3-profiles:GraphLab PowerGraph 实现 3-profile 计数

    3 配置文件自述文件 3profileLocal 本地 3-profile 计数。 给定一个无向图,该程序计算所有子图在 3 个顶点上的频率(直至同构)。 文件 counts_3_profiles.txt 附加有输入文件名、边采样概率、图形的 3-profile ...

    GossipMap:八卦地图

    如何编译GossipMap是用C ++实现的,并且使用GraphLab PowerGraph进行分布式内存并行处理,因此在使用GossipMap之前必须先安装GraphLab PowerGraph v2.2。 您可以从找到GraphLab PowerGraph。 您可以按照GraphLab ...

    JPowerGraph-开源

    JPowerGraph是一个Java库,用于为Swing和SWT创建有向图。 它支持图形移动,选择,上下文菜单,工具提示和动态边创建。 JPowerGraph具有基于TouchGraph中使用的弹簧布局算法。

    基于图计算的大数据分析系统 .pptx

    其中,PowerGraph/PowerLyra在处理大规模图数据时虽然表现出良好的并行性,但在计算密集型任务中,如PageRank,其性能并不理想,原因在于计算局部性和CPU利用率低。为了解决这些问题,后来的系统如Gemini引入了...

    libevent-2.0.18-stable.tar.gz

    安装PowerGraph所需的压缩包,libevent-2.0.18-stable.tar.gz。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    9-6.图数据库在腾讯业务中的应用与实践.pdf

    从早期的PageRank到现代的图神经网络(GNN)如GCN、GraphSAGE等,图计算框架如Pregel、PowerGraph、Gemini、Angel-Graph等,以及图数据库如Neo4j、Titan、TigerGraph等。这些技术的发展为解决大规模图数据的存储和...

    精品--图计算和图存储在国内兴起于年,此项目为我的本科毕业设计,本人现在TOP厂商工作,工作要求不方便公开透露公司,.zip

    3. 图计算框架:如Giraph、Pregel、PowerGraph等,它们提供了分布式图计算的基础架构,使得处理大规模图数据成为可能。 4. 图数据库:介绍了图存储的基本原理和操作,包括如何创建、查询和更新图数据,以及如何优化...

    LazyGraph:分布式图并行计算中副本的惰性数据一致性

    然而,这种复制机制也引入了一个关键问题——数据一致性问题。 当一个顶点的多个副本存在于不同的机器上时,如何确保这些副本之间的一致性就成为一个重要的挑战。在传统的分布式系统中,通常采用“急切”(Eager)...

    3-1+AngelGraph:基于参数服务器的高性能分布式图计算框架.pdf

    图计算框架的发展经历了多个阶段,从早期的Pregel、PowerGraph到后来的GraphX、Gemini,再到AngelGraph等,都在尝试解决大规模图计算的效率和可扩展性问题。然而,现有的图计算框架面临着性能、易用性和资源管理的...

    云深度学习平台架构与实践

    例如,在本地机器上训练模型时,可能会遇到资源隔离和自动扩展的问题,而使用云平台提供的服务如AmazonWebService或Google Cloud Platform,可以有效地解决这些问题。 云机器学习平台的基本架构包括应用层、机器...

    大图划分算法总结

    此外,还有其他一些算法或框架在文章中被提及,例如LDG、Powergraph、FENNEL以及PowerLyra,后者是基于Vertex-cut和FENNEL的混合划分方式,以优化网络的通信效率和处理性能。 综上所述,图划分算法的研究和应用是一...

    spark paper

    在分布式计算领域,随着图数据规模的不断增大及其重要性的日益凸显,一系列专门针对图处理的系统应运而生,如Pregel、PowerGraph等。这些系统通过提供专门的抽象接口,并结合特定于图的优化技术,可以高效地执行诸如...

    windows 3.x 下通用显示卡驱动包

    STB Powergraph Video Seven VGA, including Video Seven FastWrite Video Seven 1024i Video Seven VRAM Video Seven VRAM II Western Digital VGA * NOTE: MS-DOS applications run on Trident ...

    基于云计算的大数据挖掘内涵及解决方案研究 (1).pdf

    然而,Hadoop在处理具有复杂关系的图数据方面存在不足,因此需要融入并行计算工具如PowerGraph,以提高数据处理和查询速率。 在数据存储管理方面,传统数据挖掘通常采用行存储方式,使用关系数据库系统进行多维数据...

    阿里云 专有云企业版 V3.6.2 在线图计算服务BigGraph 用户指南 - 20181228.pdf

    此外,BigGraph支持多种图计算模型,如Pregel、Giraph和PowerGraph,以适应不同的业务需求。 在使用BigGraph时,用户需要注意以下几点: 1. **文档使用权限**:用户必须通过阿里云官方网站或授权渠道获取并使用...

    华为内部spark培训文档

    最后,Spark的“巧”在于其与现有大数据组件的结合,比如与Hadoop的无缝整合以及在图计算中采用Pregel和PowerGraph的相关API和设计理念。 文档接着阐述了Spark的技术架构和基本功能,强调了其采用的Master-Slave...

    走向大数据混合编程

    Transformer具有两个独特的贡献:首先,它提供了一个统一运行时系统下的编程抽象,可用于不同编程模型的实现,如Dryad、Spark、Pregel和PowerGraph。其次,Transformer支持一种高效且透明的数据共享机制,它将不同的...

Global site tag (gtag.js) - Google Analytics