package com.xhb1.test;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import com.test.UserBroserCount;
public class RunBroserCount {
public static void main(String[] args) throws Exception {
String inputPath = "/logdata/userLogFile.log";
String outputPath = "/oozie/test1";
new RunBroserCount().runBroserCount(inputPath, outputPath);
}
public void runBroserCount(String inputPath, String outputPath)
throws IOException, InterruptedException, ClassNotFoundException {
Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://192.168.0.170:4310");
//conf.set("hadoop.job.user", "root");
conf.set("mapred.job.tracker", "192.168.0.170:4311");
Job job = new Job(conf, "browserCount");
((JobConf) job.getConfiguration()).setJar("E:/workspaces/pmp/BrowserCount/target/pr.jar");
job.setJarByClass(UserBroserCount.class);
job.setMapOutputValueClass(IntWritable.class);
job.setMapperClass(UserBroserCount.UserBroserCountMapper.class);
job.setReducerClass(UserBroserCount.UserBroserCountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(inputPath));
FileOutputFormat.setOutputPath(job, new Path(outputPath));
job.waitForCompletion(true);
}
}
分享到:
相关推荐
Hadoop客户端Java代码
org.apache.hadoop.security.AccessControlException: Permission denied: user=xudsa, access=WRITE, inode="/uploaddemo1.txt":hadoop:supergroup:-rw-r--r--
win7下hadoop job提交
内容概要: HadoopMR程序代码; job提交流程; mr程序的几种提交运行模式;
hadoop实战源代码,包含Java操作HDFS文件的上传、下载、删除等功能
Hadoop集群搭建好后,这是用于测试用的入门级java程序源码,也是我博文的一个补充,欢迎查看下载
Hadoop权威指南源码,代码很全,有意的同学可以下载下来研究一下。
Hadoop在idea中的java代码
“Hadoop的物品租赁-“Hadoop的物品租赁系统-“Hadoop的物品租赁系统源码-“Hadoop的物品租赁管理系统-“Hadoop的物品租赁管理系统java代码-“Hadoop的物品租赁系统设计与实现-基于springboot的“Hadoop的物品租赁...
基于Hadoop的物品租赁-基于Hadoop的物品租赁系统-基于Hadoop的物品租赁系统源码-基于Hadoop的物品租赁管理系统-基于Hadoop的物品租赁管理系统java代码-基于Hadoop的物品租赁系统设计与实现-基于springboot的基于...
Hadoop短视频流量-Hadoop短视频流量系统-Hadoop短视频流量系统源码-Hadoop短视频流量管理系统-Hadoop短视频流量管理系统java代码-Hadoop短视频流量系统设计与实现-基于springboot的Hadoop短视频流量系统-基于Web的...
大数据(bigdata)中,Hadoop如何处理提交的作业(Job),本课件深入分析,一目了然。
Hadoop短视频流量-Hadoop短视频流量系统-Hadoop短视频流量系统源码-Hadoop短视频流量管理系统-Hadoop短视频流量管理系统java代码-Hadoop短视频流量系统设计与实现-基于springboot的Hadoop短视频流量系统-基于Web的...
hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计
hadoop中使用snappy算法,需要手工编译hadoop-snappy的包,但是这个包没有提供下载,需要花很大力气进行编译,现在把这个包提供出来
java操作Hadoop源码之HDFS Java API操作-创建目录,附带所需全部jar包,欢迎下载学习。
hadoop-3.1.0.zip
1.java接口操作Hadoop文件系统(文件上传下载删除创建......2.RPC远程过程调用的java代码实现,便于理解Hadoop的RPC协议,具体使用方法可参考我的博客https://blog.csdn.net/qq_34233510/article/details/88142507
hadoop权威指南中chat2例子
hadoop-2.0.4官方源代码