Elasticsearch VS ClickHouse

Clickhouse 是俄羅斯搜尋巨頭 Yandex 開發的完全列式存儲計算的分析型資料庫。ClickHouse 在這兩年的 OLAP 領域中一直非常熱門，國内網際網路大廠都有大規模使用。

Elasticsearch 是一個近實時的分布式搜尋分析引擎，它的底層存儲完全建構在 Lucene 之上。簡單來說是通過擴充 Lucene 的單機搜尋能力，使其具有分布式的搜尋和分析能力。Elasticsearch 通常會和其它兩個開源元件 Logstash（日志采集）和 Kibana（儀表盤）一起提供端到端的日志/搜尋分析的功能，常常被簡稱為 ELK。

Elasticsearch 最擅長的主要是完全搜尋場景（where 過濾後的記錄數較少），在記憶體富裕運作環境下可以展現出非常出色的并發查詢能力。但是在大規模資料的分析場景下（where 過濾後的記錄數較多），ClickHouse 憑借極緻的列存和向量化計算會有更加出色的并發表現，并且查詢支援完備度也更好。

本次實驗将測試 Elasticsearch 和 ClickHouse 對基本查詢的性能差異。

測試架構

測試用到的所有元件都通過 Docker 容器的方式部署在 192.168.1.41 這台虛拟機上。其中 Vector 負責産生資料并寫入 Elasticsearch 和 ClickHouse，Kibana 和 TabixUI 提供了可視化的操作界面，Juypter 用于運作 Python 測試代碼。

https://github.com/cr7258/clickhouse-lab

建立容器網絡

建立一個 Docker 網絡，本實驗所有的容器都連接配接到該網絡，容器之間可以通過容器名通路，Docker Embedded DNS 會負責容器名到 IP 位址的 DNS 解析。

docker network create esvsch

部署 Elasticsearch

通過 docker-compose 部署 Elasticsearch，為了友善操作同時部署了 Kibana。

version: '3.7'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.4.0
    container_name: elasticsearch
    environment:
      - xpack.security.enabled=false
      - discovery.type=single-node
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    cap_add:
      - IPC_LOCK
    volumes:
      - elasticsearch-data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 4096M
        reservations:
          memory: 4096M
  kibana:
    container_name: kibana
    image: docker.elastic.co/kibana/kibana:7.4.0
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - 5601:5601
    depends_on:
      - elasticsearch
volumes:
  elasticsearch-data:
    driver: local
networks:
  default:
    external:
      name: esvsch

啟動 Elasticsearch 和 Kibana：

cd elastic
docker-compose up -d

浏覽器輸入

http://192.168.1.41:5601

通路 Kibana 界面，預設沒有設定使用者名密碼，之後可以通過 Dev Tools 界面操作 Elasticsearch：

通過 docker-compsoe 部署 ClickHouse，為了友善操作同時部署了 TabixUI。

version: "3.7"
services:
  clickhouse:
    container_name: clickhouse
    image: yandex/clickhouse-server
    volumes:
      - ./data/config:/var/lib/clickhouse
    ports:
      - "8123:8123"
      - "9000:9000"
      - "9009:9009"
      - "9004:9004"
    ulimits:
      nproc: 65535
      nofile:
        soft: 262144
        hard: 262144
    healthcheck:
      test: ["CMD", "wget", "--spider", "-q", "localhost:8123/ping"]
      interval: 30s
      timeout: 5s
      retries: 3
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 4096M
        reservations:
          memory: 4096M
  
  tabixui:
    container_name: tabixui
    image: spoonest/clickhouse-tabix-web-client
    ports:
      - "18080:80"
    depends_on:
      - clickhouse
    deploy:
      resources:
        limits:
          cpus: '0.1'
          memory: 128M
        reservations:
          memory: 128M
networks:
  default:
    external:
      name: esvsch

啟動 ClickHouse 和 TabixUI：

cd clickhouse
docker-compose up -d

http://192.168.1.41:18080

通路 TabixUI，建立一個新連接配接，自定義一個名字，連接配接 ClickHouse 的位址為

http://192.168.1.41:8123

，使用者名為 default，密碼為空。

Elasticsearch 有動态映射的功能，當遇到文檔中以前未遇到的字段，Elasticsearch 可以通過動态映射确定字段的資料類型并自動把新的字段添加到類型映射。是以對于 Elasticseach 我們不需要事先建立索引。

在 ClickHouse 上我們需要事先建立好表結構：

CREATE TABLE default.syslog(
    application String,
    hostname String,
    message String,
    mid String,
    pid String,
    priority Int16,
    raw String,
    timestamp DateTime('UTC'),
    version Int16
) ENGINE = MergeTree()
    PARTITION BY toYYYYMMDD(timestamp)
    ORDER BY timestamp
    TTL timestamp + toIntervalMonth(1);
ALTER TABLE syslog DELETE where raw is not null

通過 Vector 将數導入 Elasticsearch 和 ClickHouse

Vector 是一個輕量，超快和開源的可觀察管道建構工具, 可以用于收集，轉換和發送日志、名額、事件等内容。

我們使用 Vector 建構 10w 條 syslog 日志，然後分别輸出到 Elasticsearch 和 ClickHouse。Vector 的配置檔案如下，我們啟動 Vector 容器時會挂載該檔案到容器的 /etc/vector/vector.toml。

#生成 syslog 的模拟資料，生成 10w 條，生成間隔和 0.01 秒。
[sources.in]
  type = "generator"
  format = "syslog"
  interval = 0.01
  count = 100000
#把原始消息複制一份，這樣抽取的資訊同時可以保留原始消息。
[transforms.clone_message]
  type = "add_fields"
  inputs = ["in"]
  fields.raw = "{{ message }}"
#使用正規表達式，按照 syslog 的定義，抽取出 application，hostname，message，mid，pid，priority，timestamp，version 這幾個字段。
[transforms.parser]
  # General
  type = "regex_parser"
  inputs = ["clone_message"]
  field = "message" # optional, default
  patterns = ['^<(?P<priority>\d*)>(?P<version>\d) (?P<timestamp>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}Z) (?P<hostname>\w+\.\w+) (?P<application>\w+) (?P<pid>\d+) (?P<mid>ID\d+) - (?P<message>.*)$']
#資料類型轉化
[transforms.coercer]
  type = "coercer"
  inputs = ["parser"]
  types.timestamp = "timestamp"
  types.version = "int"
  types.priority = "int"
#把生成的資料列印到控制台，供開發調試。
[sinks.out_console]
  # General
  type = "console"
  inputs = ["coercer"] 
  target = "stdout" 
  # Encoding
  encoding.codec = "json" 
  
#輸入到 ClickHouse
[sinks.out_clickhouse]
  host = "http://clickhouse:8123"
  inputs = ["coercer"]
  table = "syslog"
  type = "clickhouse"
 
  encoding.only_fields = ["application", "hostname", "message", "mid", "pid", "priority", "raw", "timestamp", "version"]
  encoding.timestamp_format = "unix"
#輸出到 Elasticsearch
[sinks.out_es]
  # General
  type = "elasticsearch"
  inputs = ["coercer"]
  compression = "none" 
  endpoint = "http://elasticsearch:9200" 
  index = "syslog-%F"
  # Encoding
  # Healthcheck
  healthcheck.enabled = true

啟動 Vector：

cd vector
make start

啟動 Jupyter Notebook

Jupyter Notebook 是一個開源的 Web 應用程式，允許使用者建立和共享包含代碼、方程式、可視化和文本的文檔。

啟動 Jupyter：

cd notebook
#建構鏡像
make docker
#啟動容器
make run

浏覽器通路

http://192.168.1.41:8888

登入 Jupter。我事先準備在 Jupyter 上準備了 Python SDK 調用 Elaticsearch 和 ClickHouse 的代碼，大家可以直接點選運作檢視。

其中 Query Tester.ipynb 準備了 Elasticsearch 和 ClickHouse 性能對比的代碼，Elasticsearch 使用 DSL 語言查詢，ClickHouse 使用 SQL 語言查詢。簡單測試了一些常見的查詢，每個查詢語句分别在 Elasticsearch 和 ClickHouse 上運作 10 次。

查詢所有記錄：

#Elasticsearch
{
  "query":{
    "match_all":{}
  }
}
#ClickHouse 
SELECT * FROM syslog

比對單個字段：

#Elasticsearch
{
  "query":{
    "match":{
      "hostname":"for.org"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE hostname='for.org'

比對多個字段：

#Elasticsearch
{
  "query":{
    "multi_match":{
      "query":"up.com ahmadajmi",
        "fields":[
          "hostname",
          "application"
        ]
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE hostname='for.org' OR application='ahmadajmi'

查找包含特定單詞的字段：

#Elasticsearch
{
  "query":{
    "term":{
      "message":"pretty"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE lowerUTF8(raw) LIKE '%pretty%'

範圍查詢，查找版本大于 2 的記錄：

#Elasticsearch
{
  "query":{
    "range":{
      "version":{
        "gte":2
      }
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE version >= 2

查找到存在指定字段的記錄：

#Elasticsearch
{
  "query":{
    "exists":{
      "field":"application"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE application is not NULL

正規表達式查詢，查詢比對某個正規表達式的資料：

#Elasticsearch
{
  "query":{
    "regexp":{
      "hostname":{
        "value":"up.*",
          "flags":"ALL",
            "max_determinized_states":10000,
              "rewrite":"constant_score"
      }
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE match(hostname, 'up.*')

統計某個字段出現的次數：

#Elasticsearch
{
  "aggs":{
    "version_count":{
      "value_count":{
        "field":"version"
      }
    }
  }
}
#ClickHouse 
SELECT count(version) FROM syslog

查找不重複的字段的個數：

#Elasticsearch
{
  "aggs":{
    "my-agg-name":{
      "cardinality":{
        "field":"priority"
      }
    }
  }
}
#ClickHouse 
SELECT count(distinct(priority)) FROM syslog

以上查詢語句我們也可以在 Kibana 和 TabixUI 上運作一下看看效果：

Elasticsearch VS ClickHouse

測試架構

建立容器網絡

部署 Elasticsearch

通過 Vector 将數導入 Elasticsearch 和 ClickHouse

啟動 Jupyter Notebook

繼續閱讀

Zeppelin 配置通路 REST APIApache Zeppelin Configuration REST API

【Torch】最簡潔logging使用指南

C++實作簡單順序表

27. Remove Element(清單)題目代碼

C經典書籍筆記——C陷阱與缺陷②(文法陷阱之優先級)一、錯誤案列二、優先級規律

Cloud Studio初體驗

CentOS 7,docker安裝

使用 ctypes 進行 Python 和 C 的混合程式設計

【python】【資料處理】畫多元資料分布圖

線性表之順序表的實作

【Docker】端口映射問題操作步驟

C++判斷素數、求最大公約數代碼判斷一個數是否為素數求兩個數的最大公約數

SequoiaDB巨杉資料庫C++驅動概述

【python】netconf協定對接管理裝置

「Python 網絡自動化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 網絡裝置

在python中建立excel并寫入