springcloud-slenth-zipkin進行分布式鍊路追蹤

Spring Cloud Sleuth

一般的，一個分布式服務跟蹤系統，主要有三部分：資料收集、資料存儲和資料展示。根據系統大小不同，每一部分的結構又有一定變化。譬如，對于大規模分布式系統，資料存儲可分為實時資料和全量資料兩部分，實時資料用于故障排查（troubleshooting），全量資料用于系統優化；資料收集除了支援平台無關和開發語言無關系統的資料收集，還包括異步資料收集（需要跟蹤隊列中的消息，保證調用的連貫性），以及確定更小的侵入性；資料展示又涉及到資料挖掘和分析。雖然每一部分都可能變得很複雜，但基本原理都類似。

服務追蹤的追蹤單元是從客戶發起請求（request）抵達被追蹤系統的邊界開始，到被追蹤系統向客戶傳回響應（response）為止的過程，稱為一個“trace”。每個 trace 中會調用若幹個服務，為了記錄調用了哪些服務，以及每次調用的消耗時間等資訊，在每次調用服務時，埋入一個調用記錄，稱為一個“span”。這樣，若幹個有序的 span 就組成了一個 trace。在系統向外界提供服務的過程中，會不斷地有請求和響應發生，也就會不斷生成 trace，把這些帶有span 的 trace 記錄下來，就可以描繪出一幅系統的服務拓撲圖。附帶上 span 中的響應時間，以及請求成功與否等資訊，就可以在發生問題的時候，找到異常的服務；根據曆史資料，還可以從系統整體層面分析出哪裡性能差，定位性能優化的目标。

Spring Cloud Sleuth為服務之間調用提供鍊路追蹤。通過Sleuth可以很清楚的了解到一個服務請求經過了哪些服務，每個服務處理花費了多長。進而讓我們可以很友善的理清各微服務間的調用關系。此外Sleuth可以幫助我們：

耗時分析: 通過Sleuth可以很友善的了解到每個采樣請求的耗時，進而分析出哪些服務調用比較耗時;
可視化錯誤: 對于程式未捕捉的異常，可以通過內建Zipkin服務界面上看到;
鍊路優化: 對于調用比較頻繁的服務，可以針對這些服務實施一些優化措施。

spring cloud sleuth可以結合zipkin，将資訊發送到zipkin，利用zipkin的存儲來存儲資訊，利用zipkin ui來展示資料。

這是Spring Cloud Sleuth的概念圖：

springcloud-slenth-zipkin進行分布式鍊路追蹤

ZipKin

Zipkin 是一個開放源代碼分布式的跟蹤系統，由Twitter公司開源，它緻力于收集服務的定時資料，以解決微服務架構中的延遲問題，包括資料的收集、存儲、查找和展現。

每個服務向zipkin報告計時資料，zipkin會根據調用關系通過Zipkin UI生成依賴關系圖，顯示了多少跟蹤請求通過每個服務，該系統讓開發者可通過一個 Web 前端輕松的收集和分析資料，例如使用者每次請求服務的處理時間等，可友善的監測系統中存在的瓶頸。

快速上手

建立map-zipkin-server項目

項目依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.kye</groupId>
	<artifactId>map-zipkin-server</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>map-zipkin-server</name>
	<description>Demo project for Spring Boot</description>

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>1.5.9.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>

		<!--zipkin依賴-->
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-eureka</artifactId>
			<version>1.4.2.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>io.zipkin.java</groupId>
			<artifactId>zipkin-server</artifactId>
			<version>2.4.1</version>
		</dependency>
		<dependency>
			<groupId>io.zipkin.java</groupId>
			<artifactId>zipkin-autoconfigure-ui</artifactId>
			<version>2.4.1</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-sleuth-zipkin-stream</artifactId>
			<version>1.3.1.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-stream-rabbit</artifactId>
			<version>1.3.1.RELEASE</version>
		</dependency>

		<!--資料庫-->
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-jdbc</artifactId>
		</dependency>
		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>druid</artifactId>
			<version>1.0.29</version>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>


</project>

啟動類

package com.kye;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.cloud.sleuth.zipkin.stream.EnableZipkinStreamServer;
import org.springframework.context.annotation.Bean;
import zipkin.storage.mysql.MySQLStorage;

import javax.sql.DataSource;

/**
 * @業務描述：
 * @Package Name: com.kye
 * @Author: [email protected]
 * @Date: 2018/11/14  11:58
 * @Copyright (c) 跨越新科技 版權所有
 */
@SpringBootApplication
@EnableDiscoveryClient
@EnableZipkinStreamServer
public class MapZipkinServerApplication {

	public static void main(String[] args) {
		SpringApplication.run(MapZipkinServerApplication.class, args);
		System.out.printf("啟動成功");
	}

	@Bean
	public MySQLStorage mySQLStorage(DataSource datasource) {
		return MySQLStorage.builder().datasource(datasource).executor(Runnable::run).build();
	}
}

使用了

@EnableZipkinStreamServer

注解，啟用Zipkin服務。

配置檔案

eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/
server:
  port: 9000
spring:
  application:
    name: map-zipkin-server


  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    driverClassName: com.mysql.jdbc.Driver
    url: jdbc:mysql://localhost:3306/sleuth_log
    username: root
    password: 123456
    schema[0]: classpath:/mysql.sql

    # 下面為連接配接池的補充設定，應用到上面所有資料源中
    # 初始化大小，最小，最大
    initialSize: 5
    minIdle: 5
    maxActive: 20
    # 配置擷取連接配接等待逾時的時間
    maxWait: 60000
    # 配置間隔多久才進行一次檢測，檢測需要關閉的空閑連接配接，機關是毫秒
    timeBetweenEvictionRunsMillis: 60000
    # 配置一個連接配接在池中最小生存的時間，機關是毫秒
    minEvictableIdleTimeMillis: 300000
    validationQuery: SELECT 1 FROMDUAL
    testWhileIdle: true
    testOnBorrow: false
    testOnReturn: false
      # 打開PSCache，并且指定每個連接配接上PSCache的大小
    poolPreparedStatements: true
    maxPoolPreparedStatementPerConnectionSize: 20
      # 配置監控統計攔截的filters，去掉後監控界面sql無法統計，'wall'用于防火牆
    filters: stat,wall,log4j
      # 通過connectProperties屬性來打開mergeSql功能；慢SQL記錄
    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000
  #rabbitmq配置
  rabbitmq:
    host: localhost
    port: 5672
    username: guest
    password: guest

  #zipkin資料儲存到資料庫中需要進行如下配置
  #表示目前程式不使用sleuth
  sleuth:
    enabled: false
  #表示zipkin資料存儲方式是mysql
zipkin:
   storage:
     type: mysql

資料庫檔案：mysql.sql(用于追蹤資料的持久化放在resource目錄下)

CREATE TABLE IF NOT EXISTS zipkin_spans (
  `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
  `trace_id` BIGINT NOT NULL,
  `id` BIGINT NOT NULL,
  `name` VARCHAR(255) NOT NULL,
  `parent_id` BIGINT,
  `debug` BIT(1),
  `start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL',
      `duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration and maxDuration query'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `id`) COMMENT 'ignore insert on duplicate';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`, `id`) COMMENT 'for joining with zipkin_annotations';
ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTracesByIds';
ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and getSpanNames';
ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces ordering and range';

CREATE TABLE IF NOT EXISTS zipkin_annotations (
  `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',
  `trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id',
  `span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id',
  `a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1',
  `a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB',
  `a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation',
  `a_timestamp` BIGINT COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp',
  `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address',
  `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null',
  `endpoint_service_name` VARCHAR(255) COMMENT 'Null when Binary/Annotation.endpoint is null'
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`, `span_id`) COMMENT 'for joining with zipkin_spans';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTraces/ByIds';
ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames';
ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces';
ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces';
ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`) COMMENT 'for dependencies job';

CREATE TABLE IF NOT EXISTS zipkin_dependencies (
  `day` DATE NOT NULL,
  `parent` VARCHAR(255) NOT NULL,
  `child` VARCHAR(255) NOT NULL,
  `call_count` BIGINT,
  `error_count` BIGINT
) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);

配置完成後依次啟動示例項目：map-rcenter-server（eureka注冊中心） map-zipkin-server （zipkin服務端） http://localhost:9000 可以看到Zipkin背景頁面

springcloud-slenth-zipkin進行分布式鍊路追蹤

項目添加zipkin支援

建立一個項目spring-cloud-producer

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
		<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>1.5.9.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<artifactId>spring-cloud-producer</artifactId>
	<packaging>jar</packaging>

	<dependencies>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-eureka</artifactId>
			<version>1.4.2.RELEASE</version>
		</dependency>
	    <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-zipkin</artifactId>
            <version>1.3.1.RELEASE</version>
        </dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

配置檔案：

server:
  port: 9001
spring:
  application:
    name: producer
  zipkin:
    base-url: http://localhost:9000
  sleuth:
    sampler:
      percentage: 1.0
eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/

啟動類：

package com.kye;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;

@SpringBootApplication
@EnableDiscoveryClient
public class ProducerApplication {

	public static void main(String[] args) {
		SpringApplication.run(ProducerApplication.class, args);
		System.out.println("啟動成功");
	}
}

controller：

package com.kye.controller;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.cloud.netflix.zuul.filters.route.FallbackProvider;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

/**
 * @業務描述：
 * @Package Name: com.kye.controller
 * @Author: [email protected]
 * @Date: 2018/11/14  15:55
 * @Copyright (c) 跨越新科技 版權所有
 */
@RestController
public class HelloController {
    private final Logger logger = LoggerFactory.getLogger(FallbackProvider.class);

    @RequestMapping("/hello")
    public String index(@RequestParam String name) {
        logger.info("request  name is "+name);
        return "hello "+name+"，this is first messge";
    }
}

建立一個項目spring-cloud-zuul

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
		<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>1.5.9.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>
	<modelVersion>4.0.0</modelVersion>

	<artifactId>spring-cloud-zuul</artifactId>
	<packaging>jar</packaging>

	<dependencies>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-eureka</artifactId>
			<version>1.4.2.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.cloud</groupId>
			<artifactId>spring-cloud-starter-zuul</artifactId>
			<version>1.4.2.RELEASE</version>
		</dependency>
		 <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-zipkin</artifactId>
            <version>1.4.2.RELEASE</version>
        </dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

配置檔案：

server:
  port: 8888
spring:
  application:
    name: zuul
  zipkin:
    base-url: http://localhost:9000
  sleuth:
    sampler:
      percentage: 1.0
eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/

啟動類：

package com.kye;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.EnableEurekaClient;
import org.springframework.cloud.netflix.zuul.EnableZuulProxy;

@SpringBootApplication
@EnableZuulProxy
@EnableEurekaClient
public class ZuulApplication {

	public static void main(String[] args) {
		SpringApplication.run(ZuulApplication.class, args);
		System.out.println("啟動成功");
	}

}

進行驗證：

這樣我們就可以通過外部請求zuul網關，zuul網關去調用spring-cloud-producer對外提供的服務

四個項目（zuul，eureka，zipkin，producer）均啟動後，在浏覽器中通路位址： http://localhost:8888/producer/hello?name=zs 兩次，然後再打開位址： http://localhost:9000/zipkin/ 點選對應按鈕進行檢視。

springcloud-slenth-zipkin進行分布式鍊路追蹤

點選記錄進去頁面，可以看到每一個服務所耗費的時間和順序

springcloud-slenth-zipkin進行分布式鍊路追蹤

點選依賴分析，可以看到項目之間的調用關系：

springcloud-slenth-zipkin進行分布式鍊路追蹤

springcloud-slenth-zipkin進行分布式鍊路追蹤

Spring Cloud Sleuth

ZipKin

快速上手

建立map-zipkin-server項目

項目依賴

啟動類

配置檔案

項目添加zipkin支援

繼續閱讀

SpringCloud-鍊路追蹤sleuth

SpringCloud（九）Sleuth 分布式請求鍊路跟蹤前言一、安裝 zipkin-server二、使用步驟總結感謝B站尚矽谷的老師 ~~~

SpringCloud商業項目工作中遇到的坑(問題)跨子產品注入問題

Spring Cloud Zuul（API網關服務）（3）

SpringCloud 的 Ribbon負載均衡、原理分析及負載均衡政策與自定義政策、饑餓加載

分布式系統全局唯一Id(SnowFlake)雪花算法實作簡介代碼

Sentinel服務熔斷功能（sentinel整合ribbon+openFeign+fallback）1、Sentinel服務熔斷功能一、Ribbon系列二、OpenFeign系列三、熔斷架構比較2、規則持久化

Spring Cloud Learning | 第四篇：聲明式服務調用（Fegin）

分布式配置中心+總線——config+bus前言服務端用戶端SpringCloud Bus

Spring Cloud 之Config分布式集中配置中心詳解

springcloud-config配置中心分布式管理

Config：分布式中心

【SpringCloud】搭建高可用分布式配置中心（Spring Cloud Config）（一）全過程詳解（手動重新整理）Spring Cloud 2.0.2.RELEASE

Spring Cloud Config 元件、配合GitHub搭建高可用分布式配置中心

線上搭建SpringCloud，一分鐘搞定

sleuth鍊路追蹤