天天看點

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

作者:泰迪智能科技大資料

“TipDM大資料挖掘模組化平台”(以下簡稱平台)是由廣東泰迪智能科技股份有限公司自主研發,基于Python引擎的資料挖掘模組化平台。使用平台配置的開箱即用的算法元件,使用者可在沒有程式設計基礎的情況下,通過拖拽的方式進行操作,将資料輸入輸出、資料預處理、挖掘模組化等環節通過流程化的方式進行連接配接,幫助使用者快速建立資料挖掘工程,提升資料處理的效能。目前已經廣泛運用在南方電網、中國電力科學研究院、珠江數位、北京智慧信訪、中國石油勘探研究院、輕工業環境保護研究所、交通運輸部公路科學研究所等衆多企事業機關。平台的界面如圖1所示。

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖1 平台界圖1 平台界面圖

平台簡介

TipDM大資料挖掘模組化平台主要有以下幾個特點。

(1)平台算法基于Python引擎,用于資料挖掘模組化。Python是目前最為流行的用于資料挖掘模組化的語言之一,高度契合使用需求。

(2)使用者可在沒有Python程式設計基礎的情況下,使用直覺的可視化圖形界面,通過拖拽的方式建構資料挖掘流程,無需程式設計。

(3)提供公開可用的資料挖掘示例工程,一鍵建立,快速運作。支援挖掘流程每個節點的結果線上預覽。提供實時日志檢視功能,出現問題快速定位。

(4)提供八大類數十種算法元件,包括資料預處理、統計分析、分類、聚類、文本分析等常用資料挖掘算法。同時提供Python腳本,粘貼代碼即可運作。

平台主要分為資料空間、我的項目、算法元件三個子產品。

資料空間

【資料空間】主要用于資料集的導入與管理,使用者可從本地将任意類型的資料導入到平台中使用,如圖2所示。同時,還可以選擇是否将資料作為公共資料集進行上傳,分享給其他使用者使用,如圖3所示。

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖2 新增資料集

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖3 上傳公共資料集

我的項目

【我的項目】主要用于資料挖掘流程化的建立與管理。通過【我的項目】子產品,能夠建立空白的工程,進行資料挖掘流程的配置,如圖4所示。對于完成度優秀的工程,可以将其儲存為模闆,如圖5所示,其他使用者可通過模闆建立已配置好算法的資料挖掘工程,一鍵運作。

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖4 工程

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖5 模闆

算法元件

在平台中,每一個資料挖掘算法都可稱之為一個元件。【算法元件】主要分為系統算法元件和個人算法元件兩部分。系統算法元件是由平台提供的預設算法,使用者無需編輯,可直接在工程中使用。個人算法元件是在系統算法元件無法滿足使用的情況下,使用者可使用Python編寫個人算法元件,供本使用者使用。

系統算法元件包括輸入、統計分析、預處理、腳本元件、聚類、分類、回歸、文本分析,共八大類,如圖6所示。

(1) 【輸入/輸出】提供配置資料挖掘工程的輸入元件,包括:輸入源。

(2) 【統計分析】提供對資料整體情況進行統計的常用元件,包括:相關性分析、正态性檢驗、主成分分析、全表統計、平穩性檢驗、因子分析、卡方檢驗。

(3) 【預處理】提供對資料進行清洗的元件,包括:主鍵合并、表堆疊、記錄去重、新增序列、資料标準化、資料拆分、頻數統計、衍生變量、缺失值處理、資料排序、分組聚合。

(4)【腳本元件】:提供一個代碼編輯框,使用者可以在代碼編輯框中粘貼已經寫好的程式代碼,直接運作,無需再額外配置成元件,包括:Python腳本。

(5) 【分類】提供常用的分類算法元件,包括:CART分類樹、K最近鄰、樸素貝葉斯、支援向量機、邏輯回歸、Adaboost、随機森林。

(6) 【聚類】提供常用的聚類算法元件,包括:層次聚類、DBSCAN密度聚類、K-Means聚類、K-中心點聚類、模糊聚類。

(7) 【回歸】提供常用的回歸算法元件,包括:CART回歸樹、線性回歸、支援向量回歸、K最近鄰回歸。

(8) 【文本分析】提供常用的文本分析算法元件,包括:HanLP分詞與詞性、長短期記憶網絡訓練、過濾停用詞、word2vec、結巴提取、正則比對、基于詞向量/文檔向量、TextRank等。

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖6 系統元件算法

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖7 個人元件算法

接下來給大家秀把操作,使用平台建構一個鸢尾花聚類工程。

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖8 上傳資料

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖9 建立工程

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

圖10 配置輸入源元件

泰迪智能科技大資料挖掘企業服務平台 快速建構資料挖掘工程

繼續閱讀