《開源精選》是我們分享Github、Gitee等開源社群中優質項目的欄目，包括技術、學習、實用與各種有趣的内容。本期推薦的 Qualitis 是一個資料品質管理平台，支援對各種資料源進行品質驗證、通知和管理。用于解決資料處理引起的各種資料品質問題。
項目概述
Qualitis基于 Spring Boot 向Linkis平台送出品質模型任務。提供資料品質模型建構、資料品質模型執行、資料品質驗證、資料品質生成報告等功能。
同時，Qualitis提供财務級資源隔離、管理和通路控制的企業級特性。也保證了在高并發、高性能、高可用的場景下也能正常工作。
特征
-
定義資料品質模型
支援以下資料品質模型：
1.單表模型。
2.多表模型。
3.定制模型。
同時，Qualitis預置了多個資料品質驗證模闆，包括空校驗、空白校驗、數校驗、枚舉校驗等常用校驗，簡化了資料品質模型定義。
-
資料品質模型排程
支援資料品質模型排程。
-
資料品質報告
支援生成資料品質報告。
- 日志管理 支援資料品質任務的管理。
-
異常資料管理
支援異常資料存儲，快速定位問題。
系統架構圖
快速部署
1. 基礎軟體安裝
Gradle (4.9)
MySQL (5.5+)
JDK (1.8.0_141)
Hadoop (2.7.2)
Hive (1.2.1)
Zookeeper (3.4.9)
Linkis (0.9.1)，需要 Spark 引擎。
2.下載下傳
位址：https://github.com/WeBankFinTech/Qualitis/releases 3.編譯
gradle clean distZip 安裝
解壓
zip
unzip qualitis-{version}.zip tar
tar -zxvf qualitis-{VERSION}.tar.gz 連接配接MySQL并初始化資料
mysql -u {USERNAME} -p {PASSWORD} -h {IP} --default-character-set=utf8
source conf/database/init.sql 修改配置
vim conf/應用程式-dev.yml 修改以下配置：
## 資料庫配置
spring.datasource.username=
spring.datasource.password=
spring.datasource.url=
##資料庫配置，同上
task.persistence.username=
task.persistence.password=
task.persistence.address=
## 動物園管理者位址
zk.address= 啟動服務
dos2unix bin/*
sh bin/start.sh 登入
打開浏覽器并輸入“localhost:8090”
配置
點選“配置”->“叢集配置”添加叢集。在下面輸入配置資訊：
叢集名稱（Hadoop叢集的名稱）
叢集類型 Linkis位址
Linkis Token
示例
提示：
Qualitis 将異常資料儲存在資料庫中。儲存的資料庫名稱可以在系統設定中配置，如下圖：
如圖所示，Qualitis提供了${USERNAME}作為使用者名替換的表達式。不同使用者運作的異常資料存儲在各自的資料庫中。
使用者手冊
建立項目
登入後，點選左側菜單中的“規則配置”按鈕。
在下面的二級菜單中，點選“項目”按鈕進入項目子產品。
然後，點選左上角的“建立項目”按鈕，進入“建立項目頁面”。
輸入以下資訊
1) 項目名稱
項目名稱，唯一。
2) 項目介紹
您可以通過單擊“确定”來建立一個新項目。
運作應用
更多内容：https://gitee.com/WeBank/Qualitis