天天看點

如何利用知識圖譜進行破案利用知識圖譜進行破案的業務邏輯如何使用知識圖譜進行破案的?

利用知識圖譜進行破案的業務邏輯

利用知識圖譜進行破案需要有強大的反欺詐識别能力,需要将人工業務邏輯和大資料引擎結合起來。

通常資料源會來自不同的次元,對于操作的人員,比如警方來說,需要允許他們通過多種方式快速浏覽,查找和分析自己想要的資訊。此外,在産品設計中還需要對考慮到各種高度敏感的安全問題。

基于知識圖譜技術,大資料平台需要內建資料內建、搜尋、知識管理、協作、發現這五大闆塊。下面,我來一一給你講解下:

資料內建:可以從不同的資料源中擷取資料,并且可以基于語義網(Ontology)來建立實體

搜尋:需要為分析師提供了多種搜尋機制,使他們能夠找到比對的資料,并且挖掘出資料間的關系,進而發揮資料的價值。

最常用是快速搜尋(Quick Search),這一切的基礎是需要一個很好的本體。此外,基于知識圖譜,我們還可以生成複雜的搜尋查詢(布爾邏輯,變音位,模糊值),甚至是環形檢索(Search Around)

知識管理:所有資料都可以根據其授權級别賦權給其他使用者。

協作:允許分析師在私人調查中開始調查,也可以将調查結果共享給其他使用者。同樣,分析師可以選擇接受其他使用者的更新,以便進一步開展工作。

發現:反欺詐是許多企業面臨的共性需求,這裡可以通過尋找趨勢的算法來進行聚類預測

以上的五大子產品是同性的,但是使用者的需求往往是個性化的,包括案件的内容以及破案的邏輯,是以需要人類智慧和大資料産品的結合。我們可以用下面的流程圖代表大資料運作的基本原理。

Step1,首先需要有資料,這裡就需要有資料采集、清洗、內建。

Step2,然後是模組化,模組化是高度依賴于任務的,是以也是依賴于人的經驗總結,比如犯罪分子可能存在的行為特征。

Step3,最後指導任務的完成,這個過程,當我們把各種資料內建,建立各種模型後,就可以自動化的執行任務。

當然我們知道,需求非常多樣化,是以也需要多樣化的任務處理模型,來處理不同的任務。而且任務和任務之間往往是有關聯的。是以基于知識圖譜來完成破案,是個非常龐大複雜的系統,但是基本原理也離不開下面的流程圖

如何利用知識圖譜進行破案利用知識圖譜進行破案的業務邏輯如何使用知識圖譜進行破案的?

如何使用知識圖譜進行破案的?

知識圖譜技術可以讓我們從完成從資料端到智慧端的過程,具體實作途徑如下圖所示。

在資料端,一般資料量巨大,我們采用分布式資料采集系統,可以支援文檔、網頁、視訊、傳感器等采集的資料,先進行清洗存儲,輸出為基礎資料。

在資訊端,我們對資料進行語義處理,比如特征提取、事件識别、文本挖掘等,然後通過實體識别、角色識别、關系識别輸出語義結構化資料。

在知識端,我們對知識進行模組化,需要對本體進行模組化、映射、存儲,建構知識體系,輸出知識庫。

在智慧端,我們需要業務規則,包括進行圖分析等計算,最後轉化為人機可視化的互動方式友善使用者進行可視化關聯分析、問答、語義搜尋等。

我們以安然破産的資料分析案例為例。首先面臨的問題是:安然公司破産,指控其CEO(David Delaney)與Mariner公司發生内幕交易,缺乏證據。但是基于知識圖譜,我們可以挖掘出更多有價值的資訊:

如何利用知識圖譜進行破案利用知識圖譜進行破案的業務邏輯如何使用知識圖譜進行破案的?

在資料層:司法将安然内部的30萬封郵件進行了公開

在資訊層:我們需要對文本進行分類,實體抽取,事件抽取,并對文本中的角色、關系進行識别。發現郵件中指導的人員都是在哪個公司擔任什麼樣的角色。并且對郵件中提到的内容及事件進行識别。

在知識層:可以發現有近千條提及Mariner公司的郵件中,David發出的3封郵件對其公允價值進行計算。并通過進一步的關聯挖掘,得到相應的知識:

1)David對Mariner公司的公允價值計算虛假高估

2)郵件發出的時間 vs. David出售Mariner公司股票時間同軸比對

3)全部郵件中的人名抽取,關聯分析David關聯人員

在智慧層:綜合以上的知識,可以得出:

1)David 發出虛估Mariner公司公允價值的郵件時間節點與其出售該公司股票的時間吻合

2)David郵件關聯人員中,有多人在Mariner公司重要部門擔任要職

知識圖譜是個非常有用的技術,它可以将資料轉化為資訊,進一步處理加工為知識,最後通過更進階别的綜合和預測能力轉化為智慧,對知識進行具體的應用。在技術使用中,我們可以使用阿裡雲的圖資料庫GDB,幫我們搭建知識圖譜的應用,它可以把知識抽取和清洗出來,然後存入GDB中提供查詢。這樣當使用者進行查詢時,就可以直接把答案告訴使用者。比如人物之間的關系是怎樣的。此外,在GDB産品中,還可以結合多種資料分析方法,比如label propagation algorithms(LPA) 、LabelRank等社群發現算法,可以幫我們識别欺詐行為,這些都已經廣泛應用到信用卡欺詐,電子商務欺詐,保險欺詐等場景中。

繼續閱讀