application 查询方法
get_last_item() ->
{ok, Pid} = riakc_pb_socket:start_link("127.0.0.1", 8087),
Bucket = <<"rends/ejabberd/pubsub_item">> ,
Inputs = {index, Bucket, <<"idx_int">>, 1},
Query = [{map, {modfun, trend_riak, get_map_bucket_values}, none, false},%%需要借助测方法由<B,K>转换成到value
{reduce, {modfun, trend_riak, get_reduce_bucket_values}, get_last_entry, true}], %%得到最后一条记录
riakc_pb_socket:mapred(Pid, Inputs, Query).
打包在riak中的代码 :返回结果必须是list
64 get_reduce_bucket_values(Records, get_last_entry)->
65 io:format("get_last_entry Records = ~p~n", [Records]),
66 F = fun(#pubsub_item{published=Published, level=Level},
67 #pubsub_item{published=Published2, level=Level2}) ->
68 if Level < Level2 -> true;
69 Level == Level2 ->
70 if Published < Published2 -> true;
71 true -> false
72 end;
73 true -> false
74 end
75 end,
76 case lists:sort(F, Records) of
77 [] -> [];
78 [PublishItem] -> [PublishItem];
79 List when is_list(List)-> [hd(List)]
80 end;
81 get_reduce_bucket_values(Records, {Start, Max})->
分享到:
相关推荐
在MapReduce任务中读取Avro文件,会使用到avro-mapred.jar。 然而目前的avro-mapred.jar是基于较老的版本的,使用时会报错: org.apache.hadoop.mapred.YarnChild: Error running child : java.lang....
Hadoop的mapred默认配置文件
Hadoop源码 包含mapred
hadoop 2.9.0 mapred-site.xml 全部属性集,默认值及属性描述,其中关键属性已使用pdf注释
avro-mapred-1.7.7-hadoop2.jar
官方版本,亲测可用
Hadoop集群搭建配套配置文件
mapred_tutorial
HA高可用所需要的mapred-site.xml
官方版本,亲测可用
补充:配置yarn的步骤:1、配置yarn-site.xml;2、配置mapred-site.xml;3、配置历史服务器。
hadoop mapred_tutorial官方文档
mapred-site.xml.template
数据平台之IUPushRsync IUPushRsync 程序利用rsync -U 命令对日志文件进行增量式...访问和运算接口:mapred编程框架、hive数 据仓库(类似于MySQL)、pig数据流编程 语言、fuse(将HDFS文件系统挂载成普通文 件系统)
Apache Avro是一个数据序列化系统。avro/avro-1.9.2/java
基于Amazon PDS百万歌曲数据集数据处理的歌曲推荐和年份预测应用,结合map reduce和数据挖掘。 MSD-mapred 包含在 java hadoop 中训练朴素贝叶斯模型的所有代码。 MSD-django 是托管在 EC2 上的服务器。 S3 上 MSD...
官方版本,亲测可用