`
wbj0110
  • 浏览: 1558241 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

淘宝MetaQ开源消息队列安装

阅读更多

前提:: 
安装zookeeper 

首先你需要搭建自己的zookeeper集群,meta利用zookeeper做服务的注册和发现,以及默认情况下offset的存储。 
安装java运行环境 
第一步:下载安装包

从这里下载最新的metamorphosis服务器可运行包并在某个目录解压缩(或者checkout源码按上面的步骤打包出来)。解压出来的结构大概是这样 

-你的目录 

-taobao 

-metamorphosis-server 

-bin 

-meta-server-start.sh -meta-server-stop.sh 

-conf 

-server.properties 

-logs 

metaServer.log 

-lib 

其中bin目录包含启动脚本(目前只有linux下的启动脚本),conf下为配置文件,lib下为meta服务器的所有jar包,logs为日志所在目录。 
第二步:配置server.ini

利用文本编辑器编辑conf/server.ini,这是meta服务器的配置文件,主要关注这几个配置项: 
brokerId 服务器ID,必须是集群内唯一 
numPartitions 默认每个topic的分区数目 
dataPath 数据文件的存放路径,默认在user.home/meta下 
zookeeper配置: 

配置topic列表 一份默认的文件如下: <HR> 
;系统属性
[system]
;必须,服务器唯一标志
brokerId=0

;服务器hostname,可以为空,默认将取本机IP
hostName=

;默认每个topic的分区数目,默认为1
numPartitions=1

;服务器端口,必须
serverPort=8123

;数据文件路径,默认在user.home/meta下
dataPath=

;日志数据文件路径,默认跟dataPath一样
dataLogPath=

;最大允许的未flush消息数,超过此值将强制force到磁盘,默认1000
unflushThreshold=1000

;最大允许的未flush间隔时间,毫秒,默认10秒
unflushInterval=10000

;单个文件的最大大小,实际会超过此值,默认1G
maxSegmentSize=1073741824

;传输给客户端每次最大的缓冲区大小,默认1M
maxTransferSize=1048576

;处理get请求的线程数,默认cpus*10
getProcessThreadCount=80

;处理put请求线程数,默认cpus*10
putProcessThreadCount=80

;数据删除策略,默认超过7天即删除,这里的168是小时,10s表示10秒,10m表示10分钟,10h表示10小时,默认为小时
deletePolicy=delete,168
;删除策略的执行时间,cron表达式
deleteWhen=0 0 6,18 * * ?

;事务相关配置
;最大保存事务checkpoint数目,默认为3
maxCheckpoints=3

;事务checkpoint时间间隔,单位毫秒,默认1小时
checkpointInterval=3600000

;最大事务超时事件数,用于监控事务超时
maxTxTimeoutTimerCapacity=30000
;最大事务超时时间,单位秒
maxTxTimeoutInSeconds=60
;事务日志的刷盘设置,0表示让操作系统决定,1表示每次commit都刷盘,2表示每隔1秒刷盘一次
flushTxLogAtCommit=1

;zk配置
[zookeeper]
;是否注册到zk,默认为true
;zk.zkEnable=true
;以下为zk配置,可以为空,为空将从diamond获取,不为空则优先使用下列配置
;zk的服务器列表
zk.zkConnect=localhost:2181
;zk心跳超时,单位毫秒,默认30秒
zk.zkSessionTimeoutMs=30000
;zk连接超时时间,单位毫秒,默认30秒
zk.zkConnectionTimeoutMs=30000
;zk数据同步时间,单位毫秒,默认5秒
zk.zkSyncTimeMs=5000

;zk在diamond中配置存储的dataId
;diamondZKDataId=metamorphosis.zkConfig
;zk在diamond中配置存储的group
;diamondZKGroup=DEFAULT_GROUP


;topic列表
[topic=test]
;是否启用统计
stat=true
;这个topic指定分区数目,如果没有设置,则使用系统设置
numPartitions=10
;topic的删除策略,默认使用系统策略
deletePolicy=
unflushInterval=
unflushThreshold=
;删除策略的执行时间,cron表达式
deleteWhen=0 0 6,18 * * ?

[topic=wuhua-test]
stat=true
numPartitions=10
unflushInterval=50
unflushThreshold=10
第三步:启动服务器

cd bin sh meta-server-start.sh -f ../conf/server.properties 

其中-f选项用于指定配置文件所在完整路径。 启动meta服务器后,你可以telnet到8123端口测试 

telnet localhost 8123 stats 

8123是meta服务器的默认端口,我们telnet上去并敲一个stats命令看看。敲quit命令可以退出telnet交互。 启动后,可以查看metaServer.log。 第四步:关闭服务器 关闭服务器通过meta-server-stop.sh脚本即可关闭 sh meta-server-stop.sh

分享到:
评论

相关推荐

    MetaQ 分布式消息服务中间件.pdf

    MetaQ 分布式消息服务中间件.pdf

    metaq消息中间件服务端、客户端资源汇集

    Metamorphosis是淘宝开源的一个Java消息中间件,他类似apache-kafka,但不是一个简单的山寨拷贝,而是做了很多改进和优化,项目的主页在淘蝌蚪上。服务端、客户端、javadoc都包含在内。

    metamorphosis(metaq)

    metamorphosis(metaq) 服务端1.4.3版本 包括客户端 发送一个序列化对象

    淘宝消息队列metamorphosis使用

    淘宝消息队列metamorphosis使用,下载java项目后查看readme.txt文本配置zookeeper,metaq后在测试代码修改下自己的配置即可执行demo,可以通过生产者生产消息,消费者消费消息

    metaQ向spark传数据

    metaQ向spark传数据

    Metaq原理与应用

    整理后的Metaq原理应用文档,欢迎大家看看。

    消息队列设计精要

    当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。本文不会一一介绍这些消息队列的所有特性,而是探讨一下自主开发设计一个消息队列...

    Metaq在JDk 7下的异常及解决方案

    Metaq在JDk 7下的异常及解决方案,希望可以帮助学习者!

    metaq-server-1.4.6.2客户端+服务端

    metaq-server-1.4.6.2服务端+客户端+javadoc文档,打包于一个压缩包

    metaq-server-1.4.6.2.tar.gz

    metaq-server-1.4.6.2.tar.gz

    metaQ的安装包

    metaQ的安装包

    Metaq详细手册.docx

    Memorphosis是一个消息中间件,它是linkedin开源MQ——kafka的Java版本,针对淘宝内部应用做了定制和优化。Metamorphosis的设计原则 • 消息都是持久的,保存在磁盘 • 吞吐量第一 • 消费状态保存在客户端 • ...

    metaq-server-1.4.6.2.zip 和原版一样就是换了个名字

    metaq--1.4.6.2.zip 和原版一样就是换了个名字,方便大家一起学习.

    支付宝之所以牛逼的原因:来看内部架构剖析

    Metamorphosis(MetaQ)是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,在...

    RocketMQ学习文档

    RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。

    rocketmq实例代码

    RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。

    VOJ:基于Spring MVC框架和ActiveMQ的跨平台在线判断系统

    版本:0.2.0(于2018年8月30日发布) | | 更新: Verwandlung在线法官现在支持Docker。... 2012年,阿里巴巴公司发布了一个名为的消息队列,该消息队列基于Kafka。 它是用Java实现的。 MetaQ代表Metamor

    RocketMQ安装包

    RocketMQ是一个纯java、分布式、队列模型的开源消息中间件,前身是Metaq,当 Metaq 3.0发布时,产品名称改为 RocketMQ。 具有以下特点: 1、能够保证严格的消息顺序 2、提供丰富的消息拉取模式 3、高效的订阅者水平...

Global site tag (gtag.js) - Google Analytics