pig基础操作
原始数据
hdj,network,tigle,100 md,database,tigle,99 wqy,pde,yao,94 zx,network,tigle,98 mmd,pde,yao,98 zx,pde,yao,100
一:查询每个学生被几个老师教过
A = load 'score.txt' using PigStorage(',') as (student, corse, teacher, score:int); describe A; B = foreach A generate student, teacher; C = distinct B; D = foreach (group C by student) generate group as student, COUNT(C); dump D; ###运行结果### (md,1) (zx,2) (hdj,1) (mmd,1) (wqy,1)
A = load 'score.txt' using PigStorage(',') as (student, corse, teacher, score:int); describe A; B = foreach A generate student, teacher; E = group B by student; F = foreach E { T = B.teacher; uniq = distinct T; generate group as student, COUNT(uniq) as cnt; } dump F; ###运行结果### (md,1) (zx,2) (hdj,1) (mmd,1) (wqy,1)
二:查询每个科目的前两名学生
A = load 'score.txt' using PigStorage(',') as (student, corse, teacher, score:int); B = foreach A generate student, corse, score; C = group B by corse; describe C; D = foreach C { sorted = order B by score DESC; top = LIMIT sorted 2; generate group as course, top as top; } dump D; E = foreach D generate course, flatten (top); dump E; ####运行结果#### (pde,zx,pde,100) (pde,mmd,pde,98) (network,hdj,network,100) (network,zx,network,98) (database,md,database,99)
操作时报错:
[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias passwd. Backend error : javadoop/192.168.0.2 to master.hadoop:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more deta Details at logfile: /usr/local/pig/pig_1433189043690.log
原因是:10020端口的服务没有打开,打开命令是:
mr-jobhistory-daemon.sh start historyserver
相关推荐
基本信息有关 Pig 的最新信息,请访问我们的网站: 和我们的维基,在:入门要了解 Pig,请尝试 要构建和运行 Pig,请尝试和 要查看函数库,请尝试为项目做贡献我们欢迎所有贡献。 有关详细信息,请访问 。
课程安排: 01) Linux基础操作;02) 搭建伪分布实验环境;...08) 介绍HBase体系结构及基本操作;09) 介绍pig操作;10) 介绍Hive体系结构及基本操作;11) 介绍Sqoop操作;12) Flume操作;13) 论坛日志分析项目。
注意: 假如你在给用户'pig'@'%'授权的时候是这样的(或类似的):GRANT SELECT ON test.user TO 'pig'@'%', 则在使用REVOKE SELECT ON *.* FROM 'pig'@'%';命令并不能撤销该用户对test数据库中user表的SELECT 操作....
按照“BigInsights安装说明.pdf” 对BigInsights虚拟机进行安装配置;按照”HDFS实验说明....6) 按照” Hbase基本 实验1.pdf”和 ” Hbase基本 实验2.pdf” 中给出的操作说明完成上机实验。实验报告以及实验文档说明
核心气压钳操作撬棒部署机制的基本功能,而其他气压钳则将系统扩展为特定应用。 此barclamp的功能并不孤单,需要Crowbar Framework关于这个钳子 有关此barclamp的信息,请参阅接触要与开发者联系,您有多种选择,...
第8-11章全面地阐述了hadoop的i/o操作、hdfs的原理与基本操作,以及hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有与hadoop相关的子...
第8-11章全面地阐述了hadoop的i/o操作、hdfs的原理与基本操作,以及hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有与hadoop相关的子...
第8-11章全面地阐述了hadoop的i/o操作、hdfs的原理与基本操作,以及hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有与hadoop相关的子...
第8-11章全面地阐述了Hadoop的I/O操作、HDFS的原理与基本操作,以及Hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等所有与Hadoop相关的子...
目录 1-ZooKeepe的集群安装与操作.rar 2-HBase:基础rar 3-pIG基础知识rar 4HIVE基础知识rar 5-SQOOP:基础 6-Flume,原理和使用rar 代码部分.rar
第8-11章全面地阐述了hadoop的i/o操作、hdfs的原理与基本操作,以及hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有与hadoop相关的子...
Pig(基础脚本服务) ⽤类sql语⾔保证mr执⾏顺畅 pig latin 的执⾏环境 Hive(数据仓库存储) 基础数据仓库(ods gdm dw app dim) 基础ETL的运⾏实例 OLAP的数据存储(kylin) 各种数据的hive外表⽤于查询 对⽐impala Druid...
Hadoop组件3.1 HDFS 文件操作3.1.1 基本文件命令3.1.2 编程读写HDFS3.2 剖析MapReduce 程序3.2.1 Hadoop数据类型3.2.2 Mapper3.2.3 Reducer3.2.4 Partitioner:重定向Mapper输出3.2.5 Combiner:本地reduce3.2.6 ...
11.1 Pig 基础 11.1.1 安装 11.1.2 架构 11.1.3 PigLatin. 11.1.4 数据类型 11.1.5 操作符和函数 11.1.6 交互式和非交互式的Pig 11.2 使用Pig 在日志数据中发现恶意行为者 11.2.1 加载...
10.2.1 序列化和反序列化技术点64 载入日志文件10.2.2 UDF、分区...Pig 基础11.1.1 安装11.1.2 架构11.1.3 PigLatin.11.1.4 数据类型11.1.5 操作符和函数11.1.6 交互式和非交互式的Pig11.2...
支 持 大 多 数 Hadoop 组 件 , 包 括 HDFS 、 MapReduce 、 Spark 、 Hive 、 Pig 、 Hbase 、 Zookeper、Sqoop等 大数据集群管理方式 分 为 手 工 方 式 ( Apache hadoop)和工具方式(Ambari + hdp 和 ...
全书共包括3个部分,第一部分为基础篇,主要介绍hadoop数据导入导出、hdfs的概述、pig与hive的使用、etl和简单的数据处理,还介绍了mapreduce的调试方式;第二部分为数据分析高级篇,主要介绍高级聚合、大数据分析等...