猿教程_-webapi教程-Web API Controller
猿教程_-webapi教程-Web API Request/Response 数据格式
猿教程_-webapi教程-创建包含CRUD操作的Web API接口-第一部分
猿教程_-webapi教程-创建包含CRUD操作的Web API接口2:实现Get方法
猿教程_-webapi教程-创建包含CRUD操作的Web API接口3:实现Post方法
猿教程_-webapi教程-创建包含CRUD操作的Web API接口4:实现Put方法
猿教程_-webapi教程-创建包含CRUD操作的Web API接口5:实现Delete方法
使用Cat断断续续将近两周的时间,感觉它还算是很轻量级的。文档相对来说薄弱一些,没有太全面的官方文档(官方文档大多是介绍每个名词是什么意思,界面是什么意思,部署方面比较欠缺);但是好在有一个非常活跃的群,群里有很多经验丰富的高手,不会的问题基本都能得到解答。
下面就开始步入正题吧,本篇主要讲述一下如何利用Cat进行分布式的调用链追踪。
分布式开发基础
在最开始网站基本都是单节点的,由于业务逐渐发展,使用者开始增多,单节点已经无法支撑了。于是开始切分系统,把系统拆分成几个独立的模块,模块之间采用远程调用的方式进行通信。
那么远程调用是如何做到的呢?下面就用最古老的RMI的方式来举个例子吧!
RMI(Remote method invocation)是java从1.1就开始支持的功能,它支持跨进程间的方法调用。
大体上的原理可以理解为,服务端会持续监听一个端口。客户端通过proxy代理的方式远程调用服务端。即客户端会把方法的参数以字符串的的方式序列化传给服务端。服务端反序列化后调用本地的方法执行,执行结果再序列化返回给客户端。
服务端的代码可以参考如下:
interface IBusiness extends Remote{
String echo(String message) throws RemoteException;
}
class BusinessImpl extends UnicastRemoteObject implements IBusiness {
publicBusinessImpl() throws RemoteException {}
@Override
public String echo(String message) throws RemoteException {
return "hello,"+message;
}
}
public class RpcServer {
publicstaticvoidmain(String[] args) throws RemoteException, AlreadyBoundException, MalformedURLException {
IBusiness business = new BusinessImpl();
LocateRegistry.createRegistry(8888);
Naming.bind("rmi://localhost:8888/Business",business);
System.out.println("Hello, RMI Server!");
}
}
客户端的代码如下:
IBusiness business = (IBusiness) Naming.lookup("rmi://localhost:8888/Business");
business.echo("xingoo",ctx);
上面的例子就可以实现客户端跨进程调用的例子。
Cat监控
Cat的监控跟传统的APM产品差不多,模式都是相似的,需要一个agent在客户端进行埋点,然后把数据发送给服务端,服务端进行解析并存储。只要你埋点足够全,那么它是可以进行全面监控的。监控到的数据会首先按照某种规则进行消息的合并,合并成一个MessageTree,这个MessageTree会被放入BlockingQueue里面,这样就解决了多线程数据存储的问题。
队列会限制存储的MessageTree的个数,但是如果服务端挂掉,客户端也有可能因为堆积大量的心跳而导致内存溢出(心跳是Cat客户端自动向服务端发出的,里面包含了jvm本地磁盘IO等很多的内容,所以MesssageTree挺大的)。
因此数据在客户端的流程可以理解为:
Trasaction\Event-->MessageTree-->BlockingQueue-->netty发出网络流
即Transaction、Event等消息会先合并为消息树,以消息树为单位存储在内存中(并未进行本地持久化),专门有一个TcpSocketSender负责向外发送数据。
再说说服务端,服务端暂时看的不深,大体上可以理解为专门有一个TcpSocketReciever接收数据,由于数据在传输过程中是需要序列化的。因此接收后首先要进行decode,生成消息树。然后把消息放入BlockingQueue,有分析器不断的来队列拿消息树进行分析,分析后按照一定的规则把报表存储到数据库,把原始数据存储到本地文件中(默认是存储到本地)。
因此数据在服务端的流程大致可以理解为:
网络流-->decode反序列化-->BlockingQueue-->analyzer分析--->报表存储在DB
|---->原始数据存储在本地或hdfs
简单的Transaction例子
在Cat里面,消息大致可以分为几个类型:
- Transaction 有可能出错、需要记录处理的时间的监控,比如SQL查询、URL访问等
- Event 普通的监控,没有处理时间的要求,比如一次偶然的异常,一些基本的信息
- Hearbeat 心跳检测,常常用于一些基本的指标监控,一般是一分钟一次
- Metric 指标,比如有一个值,每次访问都要加一,就可以使用它
Transaction支持嵌套,即可以作为消息树的根节点,也可以作为叶子节点。但是Event、Heartbeat和Metric只能作为叶子节点。有了这种树形结构,就可以描述出下面这种调用链的结果了:
<iframe id="iframe_0.24694579557393959" style="border-width: initial; border-style: none; width: 901px; height: 287px;" src="data:text/html;charset=utf8,%3Cimg%20id=%22img%22%20src=%22http://unidal.org/cat/images/logviewAll02.png?_=6237874%22%20style=%22border:none;max-width:901px%22%3E%3Cscript%3Ewindow.onload%20=%20function%20()%20%7Bvar%20img%20=%20document.getElementById('img');%20window.parent.postMessage(%7BiframeId:'iframe_0.24694579557393959',width:img.width,height:img.height%7D,%20'http://www.cnblogs.com');%7D%3C/script%3E" frameborder="0" scrolling="no" width="320" height="240"></iframe>
Transaction和Event的使用很简单,比如:
@RequestMapping("t")
public @ResponseBody String test() {
Transaction t = Cat.newTransaction("MY-TRANSACTION","test in TransactionTest");
try{
Cat.logEvent("EVENT-TYPE-1","EVENT-NAME-1");
// ....
}catch(Exception e){
Cat.logError(e);
t.setStatus(e);
}finally {
t.setStatus(Transaction.SUCCESS);
t.complete();
}
return "trasaction test!";
}
这是一个最基本的Transaction的例子。
分布式调用链监控
在分布式环境中,应用是运行在独立的进程中的,有可能是不同的机器,或者不同的服务器进程。那么他们如果想要彼此联系在一起,形成一个调用链,就需要通过几个ID进行串联。这种串联的模式,基本上都是一样的。
举个例子,A系统在aaa()中调用了B系统的bbb()方法,如果我们在aaa方法中埋点记录上面例子中的信息,在bbb中也记录信息,但是这两个信息是彼此独立的。因此就需要使用一个全局的id,证明他们是一个调用链中的调用方法。除此之外,还需要一个标识谁在调用它的ID,以及一个标识它调用的方法的ID。
总结来说,每个Transaction需要三个ID:
- RootId,用于标识唯一的一个调用链
- ParentId,父Id是谁?谁在调用我
- ChildId,我在调用谁?
其实ParentId和ChildId有点冗余,但是Cat里面还是都加上吧!
那么问题来了,如何传递这些ID呢?在Cat中需要你自己实现一个Context,因为Cat里面只提供了一个内部的接口:
public interface Context {
String ROOT = "_catRootMessageId";
String PARENT = "_catParentMessageId";
String CHILD = "_catChildMessageId";
void addProperty(String var1, String var2);
String getProperty(String var1);
}
我们需要自己实现这个接口,并存储相关的ID:
public class MyContext implements Cat.Context,Serializable{
private static final long serialVersionUID = 7426007315111778513L;
private Map<String,String> properties = new HashMap<String,String>();
@Override
public void addProperty(String s, String s1) {
properties.put(s,s1);
}
@Override
public String getProperty(String s) {
return properties.get(s);
}
}
由于这个Context需要跨进程网络传输,因此需要实现序列化接口。
在Cat中其实已经给我们实现了两个方法logRemoteCallClient
以及logRemoteCallServer
,可以简化处理逻辑,有兴趣可以看一下Cat中的逻辑实现:
//客户端需要创建一个Context,然后初始化三个ID
public static void logRemoteCallClient(Cat.Context ctx) {
MessageTree tree = getManager().getThreadLocalMessageTree();
String messageId = tree.getMessageId();//获取当前的MessageId
if(messageId == null) {
messageId = createMessageId();
tree.setMessageId(messageId);
}
String childId = createMessageId();//创建子MessageId
logEvent("RemoteCall", "", "0", childId);
String root = tree.getRootMessageId();//获取全局唯一的MessageId
if(root == null) {
root = messageId;
}
ctx.addProperty("_catRootMessageId", root);
ctx.addProperty("_catParentMessageId", messageId);//把自己的ID作为ParentId传给调用的方法
ctx.addProperty("_catChildMessageId", childId);
}
//服务端需要接受这个context,然后设置到自己的Transaction中
public static void logRemoteCallServer(Cat.Context ctx) {
MessageTree tree = getManager().getThreadLocalMessageTree();
String messageId = ctx.getProperty("_catChildMessageId");
String rootId = ctx.getProperty("_catRootMessageId");
String parentId = ctx.getProperty("_catParentMessageId");
if(messageId != null) {
tree.setMessageId(messageId);//把传过来的子ID作为自己的ID
}
if(parentId != null) {
tree.setParentMessageId(parentId);//把传过来的parentId作为
}
if(rootId != null) {
tree.setRootMessageId(rootId);//把传过来的RootId设置成自己的RootId
}
}
这样,结合前面的RMI调用,整个思路就清晰多了.
客户端调用者的埋点:
@RequestMapping("t2")
public @ResponseBody String test2() {
Transaction t = Cat.newTransaction("Call","test2");
try{
Cat.logEvent("Call.server","localhost");
Cat.logEvent("Call.app","business");
Cat.logEvent("Call.port","8888");
MyContext ctx = new MyContext();
Cat.logRemoteCallClient(ctx);
IBusiness business = (IBusiness) Naming.lookup("rmi://localhost:8888/Business");
business.echo("xingoo",ctx);
}catch(Exception e){
Cat.logError(e);
t.setStatus(e);
}finally {
t.setStatus(Transaction.SUCCESS);
t.complete();
}
return "cross!";
}
远程被调用者的埋点:
interface IBusiness extends Remote{
String echo(String message,MyContext ctx) throws RemoteException;
}
class BusinessImpl extends UnicastRemoteObject implements IBusiness {
public BusinessImpl() throws RemoteException {}
@Override
public String echo(String message,MyContext ctx) throws RemoteException {
Transaction t = Cat.newTransaction("Service","echo");
try{
Cat.logEvent("Service.client","localhost");
Cat.logEvent("Service.app","cat-client");
Cat.logRemoteCallServer(ctx);
System.out.println(message);
}catch(Exception e){
Cat.logError(e);
t.setStatus(e);
}finally {
t.setStatus(Transaction.SUCCESS);
t.complete();
}
return "hello,"+message;
}
}
public class RpcServer {
public static void main(String[] args) throws RemoteException, AlreadyBoundException, MalformedURLException {
IBusiness business = new BusinessImpl();
LocateRegistry.createRegistry(8888);
Naming.bind("rmi://localhost:8888/Business",business);
System.out.println("Hello, RMI Server!");
}
}
需要注意的是,Service的client和app需要和Call的server以及app对应上,要不然图表是分析不出东西的!
相关推荐
提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。 具体请参考 funtl.com SkyWalking 服务端配置 1、基于 Docker 安装 ElasticSearch Docker及Docker-Compose安装 Centos7(Ubuntu18.04)安装...
Fitcrack(分布式密码破解系统) 注意:可以在找到详细的文档和其他信息 本 README 描述了如何安装和运行 Fitcrack 分布式密码破解系统。 部署方式有四种: 使用安装程序+(推荐方式) 使用安装程序 +(推荐方式...
1.背景介绍CAT整个产品研发是从2011年底开始的,当时正是大众点评从.NET迁移到Java的核心起步阶段。当初大众点评已经有核心的基础中间件、RPC组件Pi
CAT 由大众点评开发的,基于 Java 的实时应用监控平台,包括实时应用监控,业务监控。 CAT 支持的监控消息类型包括:Transaction 适合记录跨越系统边界的程序访问行为,比如远程调用,数据库调用,也适合执行时间较...
CAT(CentralApplicationTracking)是一个实时和接近全量的监控系统,它侧重于对Java应用的监控,基本接入了美团上海侧所有核心应用。目前在中间件(MVC、RPC、数据库、缓存等)框架中得到广泛应用,为美团各业务线...
源码说明: C#基于TwinCAT HMI框架通过ADS协议和倍福PLC通信的实例源码,倍福 HMI 框架(C#)能够使用户快速开发基于 TwinCAT PLC 的上位机软件解决方案。 该框架基于 C#语言编写,通过 ADS 通信与 PLC 程序进行通讯...
目前分布式链路追踪系统基本都是根据谷歌的《Dapper大规模分布式系统的跟踪系统》这篇论文发展而来,主流的有zipkin,pinpoint,skywalking,cat,jaeger等。 本次APM系统选型主要对比pinpoint和skywalking。直接...
基于twincat2的码垛机完整的控制项目,有io部分 运动控制部分,人机界面部分,是一个完整的功能。
倍福PLC TWINCAT 3 下的 MODBUS TCP 使用教程,实验指导手册,手把手教你用法,有具体的操作方法,可供学习参考
Hashtopolis Hashtopolis是一种用于将hashcat任务分发到多台计算机的多平台客户端-服务器工具。 Hashtopolis发展的主要目标是可移植性,健壮性,多用户支持和多组管理。 该应用程序包含两个部分: 代理多个客户端...
基于CatBoost算法的电力短期负荷预测研究 .docx
Skywalking是分布式系统的应用程序性能监视工具,专为微服务,云原生架构和基于容器(Docker,K8S,Mesos)架构而设计,它是一款优秀的APM(Application Performance Management)工具,包括了分布式追踪,性能指标...
微服务调用链监控CAT架构和实践
#资源达人分享计划#
基于ssm+mysql的分布式电商系统(前后台+订单管理+门户)源码+项目说明.zip # shop >前言:基于ssm分布式开发实现的电商项目(聚合工程) 注:本项目为开源项目,不能用于商业应用,仅供学习。 ### 使用工具: ...
针对已有基于混沌系统的图像加密算法计算复杂度较高的问题,基于改进cat映射提出一种计算复杂度较低、易于实现的彩色图像加密算法。该算法包括置乱与扩散两层。置乱层采用比特置乱代替传统的字节置乱,彻底打乱图像...
LED温度的上升会使LED使用寿命缩短,所以需要考虑到散热因素。本篇应用介绍了安森美半导体线型恒流LED驱动器CAT4101的热能反馈技
基于TWINCAT平台的液位模糊控制系统研
基于Python的Asterix Cat 021数据格式解析分析与实现.pdf
近几十年来,人们生活水平显著提高,...本文通过分析糖尿病的特点,针对医疗数据样本量小、容易缺失的特点,选择IV值分析进行特征选择、使用一种新型的Boosting算法CatBoost进行糖尿病患者预测,取得了显著的预测效果.