Pig有两种使用模式:本地模式和MapReduce模式。
Pig进行实际工作的模式是MapReduce模式,使用Pig的MapReduce模式首先需要已经安装好的hadoop集群,关于hadoop集群的搭建在之前已经讲过。
下面就在之前搭建的集群的基础上,安装pig。安装过程如下:
1 下载pig-0.9.0.tar.gz,复制到hadoop集群的master节点的根目录下(pig相当于hadoop的一个客户端,他通过master节点就可以操作集群,因此安装在master节点上即可),使用
tar -zxvf pig-0.9.0.tar.gz解压,然后重命名为pig.操作完成后,目录如下:
2 打开~/.bashrc
3 在该文件尾部添加如下内容:
其中PIG_INSTALL为pig文件所在目录,PIG_HADOOP_VERSION为Hadoop的版本(这里使用在前面已经安装好的hadoop.0.20.2),对于PATH变量,需要添加红线部分的内容$PIG_INSTALL/bin;
4 将HADOOP_HOME/conf文件夹复制到PIG_INSTALL/conf文件夹内:
复制完毕以后PIG_INSTALL/conf文件夹的目录结构如图:
5 打开~/.bashrc
3 在最后添加
export PIG_CLASSPATH=$PIG_INSTALL/conf/conf
4 重启XShell客户端(这是由~/.bashrc文件的性质决定)
5进入pig所在节点,输入pig,出现以下内容说明安装成功
默认情况下,pig把日志文件保存在当前目录下,可以通过修改配置文件来更改日志文件的存放目录。
修改方式如下:在PIG_INSTALL/文件夹中新建logs文件夹:
修改PIG_INSTALL/conf/pig.properties文件中的pig.logfile属性值,如下即可:
Pig.logfile=/home/xuyizhen/pig/logs
相关推荐
来试试Pig安装,与学学Pig Latin语言,玩玩应用案例
完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 08 Pig安装与Pig Latin语言,应用案例 共26页.rar
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
大数据技术基础实验报告-pig的安装配置与应用
29.Pig安装与Pig Latin语言,应用案例1 30.Pig安装与Pig Latin语言,应用案例2 31.Pig安装与Pig Latin语言,应用案例3 32.Pig安装与Pig Latin语言,应用案例4 33.hadoop高级介绍 34.hadoop高级介绍 35.hadoop高级...
5.Pig安装与Pig Latin语言,应用案例 6.Hive体系架构安装与HiveQL应用案例 7.HBase体系架构与安装 8.HBase数据分析与建模,实战案例剖析 9.Map-Reduce数据分析,Hadoop流,应用案例 10.Map-Reduce数据分析之一,API...
PIGO是一个采集引擎,开始的时候是按照采集各大搜索引擎而设计的。随着需求的增加,现在PIGO不单单能采集搜索引擎,而且能聚合结果,甚至,加载不同的核心,PIGO就变成不同的网站。... 安装步骤1、把PIGO文件夹复制粘
这是一个关于pig的mapreduce模式的安装及配置的文档, 图文结合,按步骤详细介绍了整个过程。希望对大家有所帮助。
Pig-Toolbox_v1.0.7.6 谷歌浏览器插件,CRX可解压,用开发者模式安装
pig 安装包。最新版本。 Pig 的安装和配置http://blog.csdn.net/shenlan211314/article/details/6326599
pig-0.16.0.tar的安装包,解压设置相应的环境变量,使用pig -help验证是否安装成功
pig-0.17.0.tar的安装包,解压设置相应的环境变量,使用pig -help验证是否安装成功
特征查找 UDF 和 Pig 变量的用法和重构支持数据类型自动完成关键字突出显示代码注释/取消注释大括号匹配语法和错误突出显示自定义颜色设置页面安装从 IntelliJ 插件仓库安装。作者布兰登·卡比拉塞尔·梅利克如何...
7、PIGO_Advance_2.0自带PIGO百变核心DEMO版,根据PHP原创社区提供的不同采集核心,你安装后的PIGO就会变成不同的站。2.0的百变核心是视频站。这个版本,仅供试用,正式版会在PIGO下一个版本发出。 其它版本视反响...
PIGO是一个采集引擎,开始的时候是按照采集各大搜索引擎而设计的。随着需求的增加,现在PIGO不单单能采集搜索引擎,而且能聚合结果,甚至,加载不同的核心,PIGO就变成不同的网站。所以PIGO不是任何类型的网站,但又...
7.Hadoop入门进阶课程_第7周_Pig介绍、安装与应用案例.pdf
7、PIGO_Advance_2.0自带PIGO百变核心DEMO版,根据PHP原创社区提供的不同采集核心,你安装后的PIGO就会变成不同的站。2.0的百变核心是视频站。这个版本,仅供试用,正式版会在PIGO下一个版本发出。 其它版本视...
7、PIGO_Advance_2.0自带PIGO百变核心DEMO版,根据PHP原创社区提供的不同采集核心,你安装后的PIGO就会变成不同的站。2.0的百变核心是视频站。这个版本,仅供试用,正式版会在PIGO下一个版本发出。其它版本视反响...
深度学习教程实现代码,供初学者使用,使用mxnet