- 浏览: 300867 次
- 性别:
- 来自: 西安
最新评论
-
happyxiaomo:
...
【openstack】openstack的调度(Scheduler) -
linuxgao:
请问,OpenStack在关心消息返回值的情况下,两个队列一发 ...
【架构】关于RabbitMQ -
wangchao719:
zfj_0928 写道引用1. 消息ACK,通知RabbitM ...
【架构】关于RabbitMQ -
zfj_0928:
引用1. 消息ACK,通知RabbitMQ消息已被处理,可以从 ...
【架构】关于RabbitMQ -
zhangwind:
写的好,很感谢!
【架构】关于RabbitMQ
openstack中的消息队列
1 openstack中消息队列的使用
nova中的每个组件都会连接消息服务器,一个组件可能是一个消息发送者(如API、Scheduler),也可能是一个消息接收者(如compute、volume、network)。发送消息有两种方式:同步调用rpc.call和异步调用rpc.cast
openstack内部一些对象:
l Topic Publisher:该对象在进行rpc.call或rpc.cast时创建,每个对象都会连接同一个topic类型的交换器,消息发送完毕后对象被回收。
l Direct Publisher:该对象在进行rpc.call调用时创建,用于向消息发送者返回响应。该对象会根据接收到的消息属性连接一个direct类型的交换器。
l Direct Consumer:该对象在进行rpc.call调用时创建,用于接收响应消息。每一个对象都会通过一个的队列连接一个direct类型的交换器(队列和交换器以UUID命名)。
l Topic Consumer:该对象在内部服务初始化时创建,在服务过程中一直存在。用于从队列中接收消息,调用消息属性中指定的函数。该对象通过一个共享队列或一个私有队列连接一个topic类型的交换器。每一个内部服务都有两个topic consumer,一个用于rpc.cast调用(此时连接的是binding-key为“topic”的共享队列);另一个用于rpc.call调用(此时连接的是binding-key为“topic.host”的私有队列)
l Topic Exchange:topic类型交换器,每一个消息代理节点只有一个topic类型的交换器。
l Direct Exchange:direct类型的交换器,存在于rpc.call调用过程中,对于每一个rpc.call的调用,都会产生该对象的一个实例。
l Queue Element:消息队列。可以共享也可以私有。routing-key为“topic”的队列会在相同类型的服务中共享(如多个compute节点共享一个routing-key为“topic”的队列)。
各个对象的工作模型:
openstack中默认使用kombu(实现AMQP协议的Python函数库)连接RabbitMQ服务器。消息的收/发者都需要一个Connetion对象连接RabbitMQ服务器。
2 消息队列性能影响因素
消息队列在openstack整个架构中扮演着至关重要(交通枢纽)的作用,正是因为openstack部署的灵活性、模块的松耦合、架构的扁平化,反而使openstack更加依赖于消息队列(不一定使用RabbitMQ,可以是其他的消息队列产品),所以消息队列收发消息的性能和消息队列的HA能力直接影响openstack的性能。
在openstack中的任意时间点,影响消息服务器性能的的因素如下:
l 在rpc.call调用过程中:rpc.call的调用数决定了direct类型的交换器个数,相关的私有队列个数以及监听私有队列的direct consumer的个数。
l 工作者线程(内部服务)个数:相同属性的工作者线程(如compute节点)会共享一个队列,但每一个工作者线程都有一个私有队列。相同属性的工作者线程个数也决定了在topic类型交换器上的routing key的个数。
在实验环境下,主机名为kong,openstack各个组件启动后,会创建:
Ø Exchanges
1. nova (topic exchange)
Ø Queues
1. compute.kong
2. compute
3. network.kong
4. network
5. volume.kong
6. volume
7. scheduler.kong
8. scheduler
使用消息队列时有如下几个(Consumer类)属性:
Ø Durable:该属性决定了交换器和队列是否持久化,如持久化,则交换器和队列在RabbitMQ服务重启后仍然继续工作,否则交换器和队列的信息被清空。AMQP协议规定,持久化的队列只能绑定到持久化的交换器。
Ø Auto_delete:如果设置,则当所有队列结束后,交换器自动删除。默认为False。
Ø Exclusive:队列是否私有,如果该属性设置,则Auto_delete属性会自动生效。默认为False。
Ø Auto_ack:收到消息时是否自动发送回执。默认是False,要求消息接收者手动处理回执。
Ø No_ack:如果设置会提高性能,但会降低可靠性。
Ø Delivery_mode:消息的传输类型。目前RabbitMQ支持两种类型:
n 1或者“transient”:消息存储在内存,当服务器宕机或重启时消息丢失
n 2或者“persistent”:消息会同时在内存和硬盘保存,服务器宕机或重启时消息不丢失
默认为2。
在大规模部署的情况下,势必会对单节点的RabbitMQ server造成较大的负载,一旦发生单节点故障,整个openstack服务都会瘫痪。所以,部署时可以考虑使用RabbitMQ的HA等高级部署特性,具体参见RabbitMQ相关文档,在此不再赘述。
3 代码验证
3.1 服务的启动
根据以上分析可知,nova组件服务启动时会创建TopicConsumer,以“nova-compute”服务启动为例,在服务的启动过程中,会调用service::start()方法,在该方法中:
3.1.1 conn是什么?
是nova.openstack.common.amqp.ConnectionContext对象,这个对象是由RPC实现类调用create_connection()方法创建。RPC在openstack中有四种实现:
具体使用哪一种根据配置文件确定,默认的配置项是:
rpc_backend=nova.rpc.impl_kombu
ConnectionContext对象包含两个字段:
ü connection_pool:一个Connection对象池(继承自eventlet.pools.Pool),用于生成Connection对象。
ü connection:由connection_pool 生成。nova.openstack.common.rpc.impl_komku.Connection对象。该对象在初始化时,会根据配置的参数和策略连接RabbitMQ服务器。
3.1.2 rpc_dispatcher是什么?
RpcDispatcher对象。该对象中有属性callbacks,是一个包含ComputeManager对象的列表。用于接收到消息之后的处理。
3.1.3 三个create_consumer方法干了什么?
以第一个为例,在该函数中,创建了TopicConsumer对象。
3.1.4 consume_in_thread方法
在方法的实现里,又借助了evlentlet库创建超线程。在超线程主函数中调用了TopicConsumer对象的consume()方法(该类没有实现该方法,直接调用父类)。
对消息的处理包括:从消息中获取接口名称、获取接口参数、调用ComputeManager对象相应方法。
至此,“nova-compute”服务启动完成。
3.2 消息的发送
以创建虚拟机为例,由前几篇文章可知,经过Scheduler模块的过滤后,将创建虚拟机消息发送到对应的compute节点。
cast_to_compute_host方法的实现:
rpc.cast最终会创建一个TopicPublisher对象,并调用该对象的send方法。
由上可知,TopicConsumer对象会向名为“nova”的exchange上, 以 “compute.host”为routing-key发送消息。此时消息会发送到在名为“compute.host”队列上监听的TopicConsumer对象。
发表评论
-
【OpenStack】OpenStack服务的启动
2013-03-15 13:35 12140OpenStack服务的启动 本博客欢迎转发,但请保 ... -
【OpenStack】使用Rest工具向OpenStack消息发送指导
2013-03-13 20:15 3282本博客欢迎转发,但请保留原作者(新浪微博:@孔令贤HW;博客 ... -
【OpenStack】【转】Openstack之Cinder服务初探
2013-03-11 14:22 2050这篇blog是一个同事不久前写的,得到允许后,在此转载 ... -
【OpenStack】创建虚拟机时与Quantum的交互(F版)
2013-02-27 14:33 1731本博客欢迎转发,但请保留原作者(新浪微博:@孔令贤HW;博 ... -
【OpenStack】 Grizzly中的nova-conductor
2013-02-24 11:26 5320OpenStack Grizzly中的nova ... -
【OpenStack】Folsom版Quantum对象模型
2013-02-19 11:43 1486本博客欢迎转发,但请保留原作者信息(@孔令贤HW)!内容系 ... -
【openstack】Quantum(Folsom版)中update_floatingIP流程
2013-02-18 17:56 1245本博客欢迎转发,但请保留原作者信息(@孔令贤HW)!内容系 ... -
【OpenStack】G版中关于Nova的Cell
2013-02-02 03:02 3982本博客欢迎转发,但请保留原作者(新浪微博:@孔令贤HW;博 ... -
【OpenStack】G版Keystone对象模型
2013-02-02 01:14 3335本博客欢迎转发,但请保留原作者信息(@孔令贤HW)!内 ... -
【OpenStack】Grizzly版本中Scheduler filter机制详解
2013-01-26 18:11 2497Grizzly版本中Scheduler filter机制详 ... -
【OpenStack】Grizzly目前版本相对于Folsom的变更
2013-01-24 10:05 2917本博客欢迎转发,但请保留原作者(新浪微博:@孔令贤HW;博 ... -
Grizzly中的LoadBalancer初步分析
2013-01-22 09:41 2104Grizzly中的LoadBalancer初步分析 ... -
OpenStack网络知识片断(持续更新)
2012-12-26 16:14 13223OpenStack网络知识片断(持续更新) ... -
Quantum中的L3模型实战
2012-12-20 09:01 5006Quantum中的L3模型实战 ... -
在OpenStack使用XenServer资源池浅析
2012-12-13 13:33 3017在OpenStack使用XenServer资源池浅析 ... -
使用Komodo远程调试python(OpenStack)
2012-12-10 14:42 7156使用Komodo远程调试python(OpenStack) ... -
如何在openstack环境中实现定制化功能
2012-12-03 20:02 2722本博客欢迎转发,但请保留原作者(@孔令贤HW)信息!内容系本 ... -
由浅入深(源码)分析nova的资源刷新机制
2012-11-30 17:06 5081本博客欢迎转发,但请保留原作者(@孔令贤HW)信息!内容系本 ... -
【转】Ubuntu12.04 OpenStack Folsom 安装(VLAN模式)
2012-11-27 16:45 3966Ubuntu12.04 OpenStack Folsom ... -
【openstack】Nova中的policy
2012-11-10 13:32 3913Nova中的policy 本博 ...
相关推荐
4. Marconi消息队列服务(Message Queue as a Service) 5. Savanna大数据处理(MapReduce as a Service) 6. Trove数据库服务(DataBase as a Service) OpenStack概念架构包括: 1. Horizon(Dashboard)与其他...
OpenStack云计算快速入门教程 ...OpenStack内部采用消息队列进行通信,Nova对请求应答进行异步调用,当请求接收后便则立即触发一个回调。由于使用了异步通信,不会有用户的动作被长置于等待状态。
libmq libmq是golang中的Rabbitmq消息队列监视库。 该库可用于监视Rabbitmq队列,例如Openstack中的那些。 可以在monitor目录中找到Openstack队列的示例监视。
o 3.4 RABBITMQ消息队列服务安装 o 3.5 PYTHON-NOVACLIENT库安装 o 3.6 KEYSTONE身份认证服务安装 o 3.7 PYTHON-KEYSTONECLIENT库安装 o 3.8 SWIFT对象存储服务安装 o 3.9 GLANCE镜像存储服务安装 o 3.10 NOVA计算...
2. 安装rabbitmq消息队列 3. 为nova,neutron,cinder.heat创建用户并授权 五、 keystone安装(下) 1. 创建库和授权 2. 创建库和授权 3. 生成PKI认证所需要的证书文件 4. 同步keystone数据库,生成keystone...
消息队列 zeromq安装 oslo WSGI & Restful Paste sqlalchemy 官网文档 sqlalchemy笔记 sqlalchemy指南 redis redis学习手册 redis命令手册 NoSqlFan 测试框架 单元测试 testtools OpenStack自动测试框架Tempest ...
众所周知,OpenStack每一个项目都会有数据库的访问以及消息队列的使用,而数据库和消息队列是整个OpenStack扩展的瓶颈。尤其是消息队列,伴随着集群规模的扩展,其性能下降是非常明显的。通常情况下,当集群规模扩展...
DBaaS(DatabaseasaService)FWaaS(FirewallasaService)异步队列服务:接收创建、启动、删除等等任务的队列,当同时要启动200个VM实例时,我只需将启动VM的请求放到异步队列中后,我就开始干其它事情了。OpenStack的...
更多网络原理机制可以参考《OpenStack云平台的网络模式及其工作机制》。OpenStack平台中有两种类型的物理节点,控制节点和计算...OpenStack的API服务器通过消息队列分发nova-network提供的命令,这些命令之后会被nov
1、cinder-api负责接收和处理外界的API请求,通过消息队列服务调用cinder-volume执行操作。2、cinder-volumecinder-volume服务运行在存储节点上,用于管理存储空间,主要执行卷管理相关的功能管理,与vo
计量(Ceilometer)服务 以标准格式收集数据存储和系统资源使用信息,而统计和计费。...ceilometer-agent-notification:运行在管理服务器上,使用消息队列中的信息记录事件和计量数据 ceilometer-collector:运行在
#4 消息队列服务 9 #5 ETCD服务 10 #6 KeyStone服务 12 #7 镜像服务安装 17 #8 安装Nova节点 22 #9 网络服务 25 [3] 计算节点 30 #1 计算节点网络配置 30 #2 NTP时间服务配置 32 #3 ETCD服务 32 #4 安装Nova节点 33 ...
使用Nagios监视OpenStack基础设施即服务的插件。 通过此插件,Nagios可以通过AMPQ OpenStack队列中的侦听来使监视适应物理和虚拟资源。
团队和存储库标签 Python Zaqar客户端 维基: 发射台: 审查: 设计: IRC: #openstack-zaqar @ ... 另外,它在python-openstackclient上安装了一个插件,可让您执行简单的队列操作。 如何使用 Python客户端
Openstack 从 Folsom 开始使用 Cinder 替换原来的Nova-Volume服务,为 Openstack 云平台提供块存储服务。 Cinder架构 /- ( LDAP ) [ Auth Manager ] --- | \- ( DB ) | | cinderclient | ...
mod-work-queue.zip,不推荐使用vert.xvert.x 2.x的工作队列模块-请改用