天天看点

springcloud-sleuth & zipkin 初步配置Sleuth & zipkin

Sleuth & zipkin

分布式链路追踪(Distributed Tracing),就是将一次分布式请求还原成调用链路,进行日志记录,性能监控并将 一次分布式请求的调用情况集中展示。比如各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等等。

Sleuth

Spring Cloud Sleuth 主要功能就是在分布式系统中提供追踪解决方案,并且兼容支持了 zipkin,你只需要在pom文件中引入相应的依赖即可。

  • Span:基本工作单元,例如,在一个新建的span中发送一个RPC等同于发送一个回应请求给RPC,span通过一个64位ID唯一标识,trace以另一个64位ID表示,span还有其他数据信息,比如摘要、时间戳事件、关键值注释(tags)、span的ID、以及进度ID(通常是IP地址)span在不断的启动和停止,同时记录了时间信息,当你创建了一个span,你必须在未来的某个时刻停止它。
  • Trace:一系列spans组成的一个树状结构,例如,如果你正在跑一个分布式大数据工程,你可能

    需要创建一个trace。

  • Annotation:用来及时记录一个事件的存在,一些核心annotations用来定义一个请求的开始和结束
    • cs - Client Sent -客户端发起一个请求,这个annotion描述了这个span的开始
    • sr - Server Received -服务端获得请求并准备开始处理它,如果将其sr减去cs时间戳便可得到网络延迟
    • ss - Server Sent -注解表明请求处理的完成(当请求返回客户端),如果ss减去sr时间戳便可得到服务端需要的处理请求时间
    • cr - Client Received -表明span的结束,客户端成功接收到服务端的回复,如果cr减去cs时间戳便可得到客户端从服务端获取回复的所有所需时间
  1. 配置依赖
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-sleuth</artifactId>
    </dependency>
               
  2. 配置文件application.yml
    logging:
      level:
        root: INFO
       org.springframework.web.servlet.DispatcherServlet: DEBUG
       org.springframework.cloud.sleuth: DEBUG
               
    需要收集日志的微服务(本项目就是gateway服务,product服务,service服务)都需要添加如上的配置和依赖pom文件。启动微服务,调用之后,我们可以在对应微服务的控制台观察到sleuth的日志输出。
    // gateway控制台打印的
    DEBUG [api-gateway-server,79ff7de257120731,79ff7de257120731,true] 8928 --- [ctor-http-nio-2......
    
    // service-order控制台打印的
    DEBUG [service-order, 79ff7de257120731, df75b5eaaa9c99b0,true] 2944 --- [nio-9002-exec-6] ......
    
    // service-product控制台打印的
    DEBUG [service-product, 79ff7de257120731, c891708ade291c9f,true] 8324 --- [nio-9001-exec-2]......
    
               

    可以看到,上面都是DEBUG开头,中括号里第一个参数是服务名,第二个是TraceId(同一个调用链的id是相同的),后面跟着的是SpanId,依次调用有一个全局的TraceId,将调用链路串起来。仔细分析每个微服务的日志,不难看出请求的具体过程。

    控制台查看不够清晰,Zipkin可以将日志聚合,并进行可视化展示和全文检索。

ZipKin

主要由 4 个核心组件构成:

  • Collector:收集器组件,它主要用于处理从外部系统发送过来的跟踪信息,将这些信息转换为Zipkin 内部处理的 Span 格式,以支持后续的存储、分析、展示等功能。
  • Storage:存储组件,它主要对处理收集器接收到的跟踪信息,默认会将这些信息存储在内存中,我们也可以修改此存储策略,通过使用其他存储组件将跟踪信息存储到数据库中。
  • RESTful API:API 组件,它主要用来提供外部访问接口。比如给客户端展示跟踪信息,或是外接系统访问以实现监控等。
  • Web UI:UI 组件,基于 API 组件实现的上层应用。通过 UI 组件用户可以方便而有直观地查询和分析跟踪信息。

Zipkin 分为两端,一个是 Zipkin 服务端,一个是 Zipkin 客户端,客户端也就是微服务的应用。

客户端会配置服务端的 URL 地址,一旦发生服务间的调用的时候,会被配置在微服务里面的 Sleuth 的监听器监听,并生成相应的 Trace 和 Span 信息发送给服务端。

发送的方式主要有两种,一种是 HTTP 报文的方式,还有一种是消息总线的方式如 RabbitMQ。

不论哪种方式,我们都需要:

- 一个 Eureka 服务注册中心。
- 一个 Zipkin 服务端。
- 多个微服务,这些微服务中配置Zipkin 客户端。
           
  1. 下载zipkin server(服务端)的启动jar包

    下载地址:https://search.maven.org/search?q=a:zipkin-server

    选择版本,一定要选择exec.jar进行下载(40-60M大小)【建议2.12.9】**

    下载下来后,在cmd命令行输入

    java -jar zipkin-server-2.12.9-exec.jar

    启动 Zipkin Server

    【其中的2.12.9是你下载的jar包版本,记得更改】

    启动参数配置官方文档:https://github.com/openzipkin/zipkin/blob/master/zipkin-server/src/main/resources/zipkin-server-shared.yml

    浏览器输入http://localhost:9411进入Zipkin Server的管理后台

  2. 在需要记录日志的微服务导入依赖
    <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-zipkin</artifactId>
    </dependency>
               
  3. 修改application.yml (需要收集日志的微服务)
    spring: 
      zipkin:
        base-url: http://127.0.0.1:9411/ #zipkin server的请求地址
        sender:
          type: web #请求方式,默认以http的方式向zipkin server发送追踪数据
      sleuth:
        sampler:
          probability: 1.0 #采样的百分比,可以设置0-1的小数,比如设置0.1就是只收集1/10的数据
               

    刷新http://localhost:9411 可以看到请求的链路,及响应时长等。

    这是通过web方式进行查看,链路数据保存在内存中,重启zipkin服务数据会消失。

持久化zipkin数据,存储在mysql数据库中

  1. 准备mysql库及表
CREATE DATABASE /*!32312 IF NOT EXISTS*/`zipkin` /*!40100 DEFAULT CHARACTER SET utf8 */;

USE `zipkin`;

/*Table structure for table `zipkin_annotations` */

DROP TABLE IF EXISTS `zipkin_annotations`;

CREATE TABLE `zipkin_annotations` (
  `trace_id_high` bigint(20) NOT NULL DEFAULT '0' COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
  `trace_id` bigint(20) NOT NULL COMMENT 'coincides with zipkin_spans.trace_id',
  `span_id` bigint(20) NOT NULL COMMENT 'coincides with zipkin_spans.id',
  `a_key` varchar(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1',
  `a_value` blob COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB',
  `a_type` int(11) NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation',
  `a_timestamp` bigint(20) DEFAULT NULL COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp',
  `endpoint_ipv4` int(11) DEFAULT NULL COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_ipv6` binary(16) DEFAULT NULL COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address',
  `endpoint_port` smallint(6) DEFAULT NULL COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_service_name` varchar(255) DEFAULT NULL COMMENT 'Null when Binary/Annotation.endpoint is null',
  UNIQUE KEY `trace_id_high` (`trace_id_high`,`trace_id`,`span_id`,`a_key`,`a_timestamp`) COMMENT 'Ignore insert on duplicate',
  KEY `trace_id_high_2` (`trace_id_high`,`trace_id`,`span_id`) COMMENT 'for joining with zipkin_spans',
  KEY `trace_id_high_3` (`trace_id_high`,`trace_id`) COMMENT 'for getTraces/ByIds',
  KEY `endpoint_service_name` (`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames',
  KEY `a_type` (`a_type`) COMMENT 'for getTraces',
  KEY `a_key` (`a_key`) COMMENT 'for getTraces',
  KEY `trace_id` (`trace_id`,`span_id`,`a_key`) COMMENT 'for dependencies job'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED;

/*Data for the table `zipkin_annotations` */

/*Table structure for table `zipkin_dependencies` */

DROP TABLE IF EXISTS `zipkin_dependencies`;

CREATE TABLE `zipkin_dependencies` (
  `day` date NOT NULL,
  `parent` varchar(255) NOT NULL,
  `child` varchar(255) NOT NULL,
  `call_count` bigint(20) DEFAULT NULL,
  UNIQUE KEY `day` (`day`,`parent`,`child`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED;

/*Data for the table `zipkin_dependencies` */

/*Table structure for table `zipkin_spans` */

DROP TABLE IF EXISTS `zipkin_spans`;

CREATE TABLE `zipkin_spans` (
  `trace_id_high` bigint(20) NOT NULL DEFAULT '0' COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
  `trace_id` bigint(20) NOT NULL,
  `id` bigint(20) NOT NULL,
  `name` varchar(255) NOT NULL,
  `parent_id` bigint(20) DEFAULT NULL,
  `debug` bit(1) DEFAULT NULL,
  `start_ts` bigint(20) DEFAULT NULL COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL',
  `duration` bigint(20) DEFAULT NULL COMMENT 'Span.duration(): micros used for minDuration and maxDuration query',
  UNIQUE KEY `trace_id_high` (`trace_id_high`,`trace_id`,`id`) COMMENT 'ignore insert on duplicate',
  KEY `trace_id_high_2` (`trace_id_high`,`trace_id`,`id`) COMMENT 'for joining with zipkin_annotations',
  KEY `trace_id_high_3` (`trace_id_high`,`trace_id`) COMMENT 'for getTracesByIds',
  KEY `name` (`name`) COMMENT 'for getTraces and getSpanNames',
  KEY `start_ts` (`start_ts`) COMMENT 'for getTraces ordering and range'
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED;

/*Data for the table `zipkin_spans` */

/*!40101 SET [email protected]_SQL_MODE */;
/*!40014 SET [email protected]_FOREIGN_KEY_CHECKS */;
/*!40014 SET [email protected]_UNIQUE_CHECKS */;
/*!40111 SET [email protected]_SQL_NOTES */;

           
  1. 修改server启动命令

    ​ 官方文档 :https://github.com/openzipkin/zipkin/blob/master/zipkin-server/src/main/resources/zipkin-server-shared.yml

    cmd启动命令:

    java -jar zipkin-server-2.12.9-exec.jar --STORAGE_TYPE=mysql --MYSQL_HOST=127.0.0.1 --MYSQL_TCP_PORT=3306 --MYSQL_DB=zipkin --MYSQL_USER=root --MYSQL_PASS=111111

    上面的命令记得修改mysql的登陆密码。

    启动之后,自动连接数据库,数据保存在mysql中,重启也支持查看之前数据。

使用消息中间件RabbitMQ收集数据

Zipkin客户端和Server之间是使用HTTP请求的方式进行通信(即同步的请求方式)影响响应效率。Zipkin支持与rabbitMQ整合完成异步消息传输。

  1. 准备RabbitMQ

    安装RabbitMQ ,可查看博客https://blog.csdn.net/qq_43220949/article/details/113134782

    输入命令 进行启动:

    rabbitmq-server.bat

    浏览器输入http://localhost:15672,默认密码账号都是

    guest

  2. 修改zipkin服务端从rabbit拉取消息

    重新启动zipkin服务端,命令为:

    java -jar zipkin-server-2.12.9-exec.jar --RABBIT_ADDRESSES=127.0.0.1:5672

    (RabbitMQ的TCP端口为5672,web管理工具端口为15672)
  3. 修改zipkin客户端,将消息以rabbit形式发送到mq服务器

    a. 依赖

    给需要给RabbitMQ发送请求的服务都配置上依赖

    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-sleuth</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-zipkin</artifactId>
    </dependency>
    
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-sleuth-zipkin</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.amqp</groupId>
        <artifactId>spring-rabbit</artifactId>
    </dependency>
               

    ​ b. 修改application.yml

    给需要给RabbitMQ发送请求的服务都修改application.yml,然后重启服务。

    • 修改zipkin的配置
    • 添加rabbitmq
    spring:
      zipkin:
    #base-url: http://127.0.0.1:9411/ #zipkin server的请求地址
      sender:
        type: rabbit
    #type: web #请求方式,默认以http的方式向zipkin server发送追踪数据
      sleuth:
        sampler:
          probability: 1.0 #采样的百分比
      rabbitmq:
        host: localhost
        port: 5672
        username: guest
        password: guest
        listener: # 这里配置了重试策略
          direct:
            retry:
              enabled: true
          simple:
            retry:
              enabled: true
               

    当ZipkinServer不可用时(比如关闭、网络不通等),追踪信息不会丢失,因为这些信息会保存在Rabbitmq服务器上,直到Zipkin服务器可用时,再从Rabbitmq中取出这段时间的信息。

    rabbitmq配置好后:sleuth来收集链路数据,传输到rabbitmq,zipkin从rabbitmq读取数据。

order服务访问路径:http://localhost:8080/order/buy/1

product服务访问路径:http://localhost:8080/order/buy/1

order服务和product服务除了springcloud-zuul项目中,其他项目路径不变。

eureka访问路径;http://localhost:9000/

rabbitmq访问路径:http://localhost:15672/#/

zipkin访问路径:http://localhost:9411

项目源码:https://gitee.com/hxmkd/spring-cloud/tree/master/study_springcloud9_sleuth&zipkin