`
frank1998819
  • 浏览: 733884 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类

Vert.x3异步框架实战(转)

 
阅读更多

原创作者网址:http://www.iteye.com/news/31229

 

作为异步无阻塞的网络框架,Vert.x的参照物是Node.js,基本可以完成Node.js能完成的所有事情。它是作者目前见过功能最强大,依赖第三方库最少的Java框架。本文将带你深入了解Vert.x。


Vert.x的由来

Vert.x诞生于2011年,当时叫node.x,不过后来因为某些原因改名位Vert.x。经过三年多的发展,现在已经到了3.2版本,社区 也越来越活跃,在最新的官网Vertx.io上,作者用一句话介绍了它,JVM上的Reative开发套件。Vert.x目前是见过最功能最强大,第三方 库依赖最少的Java框架,它只依赖Netty4以及Jacskon,另外如果你需要建立分布式的Vert.x则再依赖HazelCast这个分布式框 架,注意Vert.x3必须基于Java8。由于基于JVM,所以Vert.x可以用其他语言来实现你的业务。默认官方维护的语言是 Groovy,JavaScript以及 JRuby。

Vert.x是一个异步无阻塞的网络框架,其参照物是node.js。基本上node.js能干的事情,Vert.x都能干。Vert.x利用 Netty4的EventLoop来做单线程的事件循环,所以跑在Vert.x上的业务不能做CPU密集型的运算,这样会导致整个线程被阻塞。

图1是一个简单的通过Vert.x起HTTP服务的例子(Java实现)。你可以从官方找到其他语言实现。


图1 Vert.x实现HTTP服务


刚才上面提到了Vert.x的分布式,Vert.x与node.js有一个很大不同点,在于Vert.x支持分布式,与多核利用。通过 Hazelcast管理各个Vert.x节点的信息,然后通过EventBus在节点之间互相发消息,于此同时Vert.x还能支持应用的高可用,只需简 单的在启动时加参数-ha即可。具体的可以去官网查看一下用法。下面是Vert.x提供的核心API。

HTTP/HTTPS Server/Client

Websocket SockJS

TCP/SSL Server/Client

UDP / DNS

Files / Timer

Json / Buffer / Flow Control

EventBus ( 集群 )

Distribution (Lock, Map, Counter)

Vert.x的执行单元叫verticle。即程序的入口,每个语言可能实现的方式不一样,比如Java需要继承一个AbstractVerticle抽象类,而javascript则直接require(“vertx”)就可以了。

verticle分两种,一种是基于EventLoop的适合I/O密集型的,还有一种是适合CPU密集型的worker verticle。而verticle之间相互通信只能通过Eventbus,可以支持point to point 的通信,也可以支持publish & subscribe通信方式。

我们重点说一下基于EventLoop的verticle。这个本质上是跟node.js一样的。下面的图其实就是node.js的翻版。


图2 node.js的翻版

所有业务逻辑其实都会跑在Netty里的EventLoop上,而EventLoop通过循环事件队列来执行所有的业务逻辑,这样可以把一些I/O操作频繁的事件及时从CPU上剥离开来,最后通过注册一个回调Handler来处理所有的事件回调。

另外一种worker verticle。主要是用来处理同步处理的。比如第三方框架没有异步接口,最典型就是JDBC。所以可以通过worker verticle来退化到传统的基于多线程模型的实现。这也是匹配一些原项目的手段。

图3是Vert.x的内部整体架构


图3 Vert.x的内部整体架构


大家可以看到,我们的业务逻辑其实都是基于verticle来实现的,然后Vert.x框架会将你的verticle绑定到相关的线程模型上,这 里verticle1,verticle2是I/O密集型项目,所有的逻辑都会跑在NIO Worker上。而Verticle3会有一些同步的耗时的请求,则会被绑定到Worker线程模型上。另外两个Vert.x节点则通过EventBus 互相通信,而EventBus通过HazelCast来获取整个集群里的节点信息。注意这里每一个verticle其实都是一个线程(启动的时候指定实例 数目参数即可),这样可以充分的利用多核。而node.js其实只能通过Cluster来提升多核利用。

Vert.x的部署场景及开发痛点

图4是一个典型的Vert.x部署场景。


图4 Vert.x部署场景


我们会把逻辑拆成小的verticle。这里你可以把这些小的verticle看成是微服务,然后水平扩展这些服务,同时也可以把自己的业务按 CPU密集与I/O密集型拆分。服务与服务之间可以通过EventBus互相调用,另外Vert.x的EventBus调用目标verticle的时候会 按RoundRobin算法来做balance。

我们来看看Vert.x开发的痛点,这其实是所有异步开发都会遇到的痛点,就是Callback Hell。因为你所有的业务逻辑都会被拆成一个个不连贯的代码块,也就是说一个业务逻辑如果涉及到I/O操作你必须要通过回调接口来继续完成,这样就丢失 了局部变量,而且异常捕获也会变得非常麻烦。

图5是一个Callback Hell的例子


图5 Callback Hell代码示例


这里代码的含义是通过EventBus给service-address1发送一个消息,然后等待返回后再把结果发送给service- address2,再等待service-address2的返回结果发送给service-address3。这里形成了调用链,即下一步的行为依赖上 一步的返回结果。这个在前端用Ajax的同学肯定很熟悉。

那解决办法呢,node.js里是用promise,而Vert.x可以使用Java8自带的CompletableFuture来实现同样的效果。图6就是用CompletableFuture改写的例子


图6 Callback Hell代码示例


大家可以发现代码变得更扁平了,没有那么多的嵌套,然后通过一些介词比如,then, when等来组合各个异步的业务逻辑,最后在一个地方统一的捕获异常。

这里大量用了Java8的新功能,比如Lambda表达式,如果觉得奇怪的同学,建议先去熟悉一下Java8的Lambda表达式。


图7 CompletableFuture代码示例


那有没有更好的实现方式了呢,能不能变成同步方式呢。这里Vert.x提供了一个库vertx-sync可以实现Fiber。通过Fiber来防止线程Block,从而将异步代码完全的变成同步代码。

这里代码瞬间变得非常清晰,完全是同步的样式。vertx-sync其实是依赖了quasar这个Java库,它通过修改Java字节码来实现相 关的逻辑,这里其实是在EventLoop线程里又开辟了一个线程池,所有的在EventLoop里的同步的方法会被这个线程池接管,处理完后会再返回给 EventLoop线程。这样可以避免EventLoop线程被阻塞。


图8 vertx-sync代码示例


但是个人不推荐在生产环境使用这个库,因为它毕竟不是语言级别的支持Fiber。需要JVM启动的时候通过javaAgent来加载相关的quasar库。

这里还有一个库,在今天特别的火——RxJava。这个其实是Reactive的Java实现,官方也提供了相关的支持,但是Reactive比较复杂,除非的业务涉及很多的流式操作,否则不建议你使用。下面是官方的一个例子。

简单说明一下,这里定义了一个EventBus,用来接受发给heat-sensor的消息,然后每隔1秒钟对累积的消息进行一次批处理,这里通 过Java8的Stream接口做了一次求平均值,最后将结果通过EventBus发给news-feed这个verticle做进一步的处理。

这里大家可以发现RxJava可以做更多的事情,前提是大家要对FRP编程思想能够接受。

Vert.x3常用工具

最后在提一下几个Vert.x3的一些小工具。

一个是metrics。这个可以用来统计整个Vert.x内部的一些指标信息,比如HTTP请求数,TCP接受或者发送的流量等等,具体可以看官方文档,通过这个接口我们可以实时的统计Vert.x内部性能信息。

另外Vert.x提供了专门针对异步代码的单元测试框架vertx-test-unit。
通过redeploy这个参数可以动态的热部署整个verticle,这个对开发调试时非常有用。

最重要的是Vert.x3内置了EventLoopChecker这个动态监测所有EventLoop线程的工具,默认EventLoop被阻塞了2秒钟的时候会触发报警,如果持续阻塞则会直接打印那一块的异常栈到日志里,非常方便开发者来检查自己的异步代码。

Vert.x目前在国内还不是很火,但是在国外已经有很多企业在使用了,比较注明的比如英孚教育、Hulu、以及做JVM监控的一家公司jClarity等。

作者简介

刘小溪,Maxleap.com 高级开发工程师。Vert.x社区一员,贡献vert.x的Clojure实现,同时扩展了Vert.x的分布式实现。目前在Maxleap.com推进基于Vert.x的微服务化,容器化相关技术。
分享到:
评论

相关推荐

    Vert.x3异步框架实战

    摘要:作为异步无阻塞的网络框架,Vert.x的参照物是Node.js,基本可以完成Node.js能完成的所有事情。它是作者目前见过功能最强大,依赖第三方库最少的Java框架。本文将带你深入了解Vert.x。Vert.x的由来Vert.x诞生于...

    Vert.x 4 核心手册中文版

    Vert.x 内核小巧轻便. 你只需使用你想要的部分. 它还可以完全嵌入到您现有的应用程序中--我们不会强迫您以特殊的方式构建应用程序,以便您可以使用 Vert.x. Vert.x核心为以下事情提供功能: 编写TCP客户端和服务器 ...

    vertx应用开发实例教程-完整版

     《Vert.x应用开发实例教程》旨在为Vert.x的初学者和大中专院校学生提供易于入门,全面了解和掌握Vert.x框架技术和应用的教材和辅导资料,为使用Vert.x开发实时应用和企业级应用打下良好的基础。

    Vert.x的Http和TCP实战

    Vert.x实战一:Vert.x通过Http发布数据:https://blog.csdn.net/haoranhaoshi/article/details/89284847 Vert.x实战二:TCP通信:https://blog.csdn.net/haoranhaoshi/article/details/89296522 Vert.x实战三:TCP...

    Vert.x线程模型揭秘

    Vert.x是一个在JVM开发reactive应用的框架,可用于开发异步、可伸缩、高并发的Web应用(虽然不限于web应用)。其目的在于为JVM提供一个Node.js的替代方案。开发者可以通过它使用JavaScript、Ruby、Groovy、Java,甚至...

    Vert.x应用开发实例教程

    Vert.x是事件驱动的,其处理请求的高性能也是基于其事件机制。Vert.x的事件机制中有几个非常重要的概念:Event Loop、Event Loop Vertical、Worker Vertical、Event Bus、Vert.x Module。 Event Loop:即事件循环,...

    Vert.xguide-for-java-devs.pdf

    Eclipse Vert.x is event driven and non blocking. This means your app can handle a lot of concurrency using a small number of kernel threads. Vert.x lets your app scale with minimal hardware.

    vert.x中文 PDF 下载

    vert.x中文 PDF 下载

    Vert.x配置项VertxOptions的使用

    在发布Vert.x实例时,需要传入一个VertxOptions来实现针对Vert.x的配置项的管理

    vert.x-2.1.2

    vert.x-2.1.2.tar.gz 下载

    Java vert.x微服务框架资料

    微服务Java框架,网上的资源很少,好像用的人也不多。

    基于 Vert.x 的中间件容器,它可以帮助软件开发人员在 Vert.x 中快速开发和实施

    Zero Ecotope Framework 是一个基于 Vert.x 的中间件容器,...Spring Boot 的快速开发工具,Zero 项目的目标是打造 Vert.x 生态中的 Spring Boot,目前整个框架已经发展到第六个年头,大大小小运行了15个左右的企业项目

    vert.x结合springboot开发mqtt服务,真实可用

    vert.x结合springboot开发mqtt服务端,直接启动主类。

    Vert.X-generator是基于javafx8开发的图形界面Vert.x代码生成器

    Vert.X-generator是基于javafx8开发的图形界面Vert.x代码生成器,使用 Apache FreeMarker 作为代码文件的模板,用户可以一键将数据库中的表生成为任意风格的.java代码文件(比如经典的三层模型);该工具支持所有实现JDBC...

    vert.x-springboot模版项目

    vert.x是内存占用极小的快速开发框架,springboot模版项目

    vertx-kue, Vert.x Blueprint项目 Vert.x Kue,这是由 Vert.x 支持的优先级任务队列.zip

    vertx-kue, Vert.x Blueprint项目 Vert.x Kue,这是由 Vert.x 支持的优先级任务队列 Vert.x Kue Vert.x Kue 是用 Vert.x 开发的优先级任务队列,并以的Redis支持。 它是 automattic/kue的Vert.x 实现版本。这个蓝图...

    vert.x中文.pdf

    Vertx官方文档翻译,非常权威的文档资料。此文档会不断更新,更新地址:https://www.bookstack.cn/books/vertx-translation-chinese

    Vert.x3.4.2 windows完整版

    Vert.x3.4.2full.zip

Global site tag (gtag.js) - Google Analytics