一、開源項目簡介

Qualitis是一個支援多種異構資料源的品質校驗、通知、管理服務的資料品質管理平台，用于解決業務系統運作、資料中心建設及資料治理過程中的各種資料品質問題。

Qualitis基于Spring Boot，依賴于Linkis進行資料計算，提供資料品質模型建構，資料品質模型執行，資料品質任務管理，異常資料發現儲存以及資料品質報表生成等功能。并提供了金融級資料品質模型資源隔離，資源管控，權限隔離等企業特性，具備高并發，高性能，高可用的大資料品質管理能力。

二、開源協定

使用Apache 2.0開源協定

三、界面展示

建立項目

建立規則

任務執行

任務檢視

規則模闆配置介紹

四、功能概述

核心特點

資料品質模型定義

支援以下資料模型定義：

1.單表校驗資料模型。

2.跨表校驗資料模型。

3.自定義校驗資料模型。

同時，系統預置了多個資料品質校驗模版，包括空值校驗，枚舉校驗等常用校驗，并且支援自定義資料品質模版。
資料品質模型排程

支援資料品質模型排程。
資料品質報表

支援生成資料品質報表。
日志管理日志聚合管理，友善排查資料品質任務
異常資料管理支援異常資料提取和存儲，快速定位問題
支援工作流支援在工作流當中進行資料品質校驗

工作流必裝DataSphereStudio.
管理者控制台

提供管理者控制台界面，支援人員管理，權限管理，權限管理，中繼資料管理等管理功能。

與類似系統對比

五、技術選型

Architecture

總體子產品設計圖

用例圖

步驟一、基礎軟體安裝

Gradle (4.9)

MySQL (5.5+)

JDK (1.8.0_141) Linkis（0.9.1), 必裝Spark引擎。

DataSphereStudio (0.7.0) 可選. 如果你想使用工作流，必裝DataSphereStudio

步驟二、安裝包下載下傳

檢視底部源碼位址

步驟三、編譯(二進制包跳過)

gradle clean distZip

步驟四、部署

4.1 解壓安裝包

zip包

unzip qualitis-{version}.zip

tar包

tar -zxvf qualitis-{VERSION}.tar.gz

4.2 連接配接MySQL，插入初始資料。

mysql -u {USERNAME} -p {PASSWORD} -h {IP} --default-character-set=utf8
source conf/database/init.sql

4.3 修改配置檔案

vim conf/application-dev.yml

修改以下配置：

## 資料庫配置
spring.datasource.username=
spring.datasource.password=
spring.datasource.url=

## 資料庫配置，和以上一緻
task.persistence.username=
task.persistence.password=
task.persistence.address=

4.4 啟動系統

dos2unix bin/*
sh bin/start.sh

Road Map

1. 支援對報表資料進行資料品質校驗

支援在工作流當中，對生成的報表資料進行資料品質校驗

2. 支援多種資料源的資料品質校驗

支援HDFS, HIVE, MySQL等資料源間的資料品質校驗
支援實時資料的資料品質校驗，如Kafka

3. 支援生成可選緯度的資料品質報表

支援可選緯度生成資料品質報表

4. 支援智能發現資料品質問題

Tips

由于Qualitis的前端代碼是采用WeBank自研的前端架構FES，但是FES架構目前沒有開源，是以Qualitis的前端代碼暫不開源。我們會盡快推進Qualitis的前端開源。對此我們感到非常抱歉。

你可以通過源碼下載下傳，并解壓web/app/src/main/resources/static/static.zip來擷取編譯後的前端代碼，或者通過下載下傳release直接使用。

六、源碼位址

私信回複：資料品質管理平台

或通路一飛開源：https://code.exmay.com/

支援多種異構資料源的品質校驗/通知/管理服務的資料品質管理平台