1 描述
假定有一个n*n的矩阵M,其第i行第j列的元素记为。假定有一个n维向量v,其第j个元素记为。于是,矩阵M和向量v的乘积结果是一个n维向量x,其第i个元素为
如:
要求输入:向量为(2,3,4)
11 22 33 33 44 55 66 77 88
输出:
0 220 1 418 2 715
2 实现思路
假如这里n很大,但还没有大到向量v不足以放入内存的地步。将矩阵M存放在一个文件中,向量v作为常量数组放在程序中。那么我们便可以从矩阵元素在文件中的位置确定该元素的行列下标。同样,v向量的元素,可以通过数组下标获取该元素的行列下标。
Map函数:
对矩阵元素,Map任务会产生键值对(i,)。因此,计算的所有n个求和项的键值都相同。
Reduce函数:
Reduce任务将所有与给定键i关联的值相加即可得到(i,)。
逻辑图:
3 代码实现
public class MatrixVectorCompute { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private Text lineNumber = new Text(); // 矩阵行序号 private static int i = 0; private final static int[] vector = {2, 3, 4}; // 向量值 public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); int j = 0; // 向量序号 lineNumber.set(i + ""); while (itr.hasMoreTokens()) { int result = vector[j] * Integer.parseInt(itr.nextToken()); IntWritable one = new IntWritable(result); context.write(lineNumber, one); j ++; } i ++; } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf, "word count11"); job.setJarByClass(MatrixVectorCompute.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("input")); FileOutputFormat.setOutputPath(job, new Path("output")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
相关推荐
使用Hadoop MapReduce实现两个矩阵相乘算法
基于MapReduce的矩阵相乘算法代码及其使用
Hadoop mapreduce 实现MatrixMultiply矩阵相乘
基于mapreduc框架的稀疏矩阵相乘运算。
最近在研究hadoop与mapReduce,网上教程只有个wordcount程序示范,太简单,故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试,上传供大家学习与参考。 调用方法: 执行:hadoop jar ...
采用patyon基于MapReduce架构实现矩阵相乘,大数据离线运算,Map+Reduce架构,判断前后运算结果是否相同
简单的在MapReduce中实现两个表的join连接简单的在MapReduce中实现两个表的join连接简单的在MapReduce中实现两个表的join连接
Hadoop 用mapreduce实现Wordcount实例,绝对能用
MapReduce实现大矩阵乘法 ,即把一个大的矩阵分解成两个矩阵,通过计算两个小的矩阵就可以获得大的矩阵,可以很有效地解决大数据存储的问题。.zip
主要介绍了java 矩阵乘法的mapreduce程序实现的相关资料,需要的朋友可以参考下
用MapReduce实现TF-IDF,Hadoop版本是2.7.7,参考某教程亲自手写的,可以运行,有问题可以留言
MapReduce矩阵乘法(Java)
1、资源内容:基于Hadoop MapReduce的矩阵乘法 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能ok的情况下才上传的。 3、适用对象...
用MapReduce实现KMeans算法,数据的读写都是在HDFS上进行的,在伪分布下运行没有问题。文档中有具体说明。
主要为大家详细介绍了基于MapReduce实现决策树算法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
云计算MapReduce实现KNN算法,使用环境:在vmware虚拟机上安装unbuntu14系统,系统中安装hadoop。文件中包含有MapReduce以及KNN的java代码、包含训练数据的excel表格以及详细的教程文档,文档中手把手教到如何使用...
本项目为一个Hadoop课程设计,使用Java语言和map/reduce实现贝叶斯文本分类器。项目的具体内容如下:1:用MapReduce算法实现贝叶斯分类器的训练过程,并输出训练模型; 2:用输出的模型对测试集文档进行分类测试。...