網際網路發展至今,資料規模越來越大,資料結構越來越複雜,而且對系統的需求越來越高。如果學習過資料結構,那麼都知道圖是放在最後一個結構,當你學習了圖,那麼應該感覺到前面的連結清單,隊列,樹都是在圖上面加了一些限制而派生出來的結構。是以圖是一個一般性的結構,可以适應于任何結構類型的資料。那麼圖資料挖掘是幹什麼的呢?難道是開着挖掘機來進行挖掘?還是扛着鋤頭?下面講講什麼是圖資料挖掘。

一、什麼是圖資料挖掘
這個話題感覺比較沉重,以至于我敲打每個字都要猶豫半天,這裡我說說我對圖資料挖掘的了解。資料是一個不可數名字,那麼說明資料是一個沒有邊界的東西。而挖掘是一個很形象化的動詞,一般意義上,挖掘是挖掘出對我們有用的東西,不然也不會閑着沒事刨個坑把自己放進去,肯定是裡面有寶貝,我們才挖掘。那麼不難了解,資料挖掘就是挖掘資料裡面的“寶貝”,圖資料挖掘,就是以圖的結構來存儲、展示、思考資料,以達到挖掘出其中的“寶貝”。那這個“寶貝”是什麼?這個有點主觀意識來了解了,“寶貝”這個詞本身就帶有主觀色彩,而沒有一個客觀的答案,不像是美女大胸、翹臀、高挑、皮膚白皙、臉蛋好看等一系列标準。那麼如何了解圖資料裡面的“寶貝”呢?舉個例子吧,例如:當今網際網路産生了很多社交資料,某某關注了某某,那麼某某和某某就有了關系,某某評論過某某,那麼這又産生了關系,在這個裡面某某就是圖中的節點,而評論過,關注了則是節點之間的關系,如果某某再多點,這就形成了一個無邊界的圖了。那麼對這個圖進行關系挖掘,那麼會産生很多有用的資料,比如可以推薦你可能認識的人,那就是朋友的朋友,甚至更深,這就形成了某空間好友推薦的功能。比如某寶的你可能喜歡的寶貝,可以通過圖資料挖掘來實作。這就是我認為的圖資料挖掘。
從學術上講,圖資料挖掘分為資料圖,模式圖兩種。至于這兩個類型的差別,由于很久沒有關注這塊,是以隻能給出一個字面意義上的差別。資料圖:則是以資料節點為基礎來進行分析圖,模式圖:則是以資料整個關系模型來進行分析資料。可能解釋存在錯誤,望指正。我之前主要是接觸資料圖一塊的東西,模式圖沒有太多了解。關于資料圖和模式圖在學術界存在幾個比較有參考意義的實作以及算法。資料圖有:BANKS,BLINKS,Object rank;模式圖有:DBXplorer(微軟),DISCOVER(加利福尼亞大學),S-CBR(人民大學,就是在大學學資料庫都會知道的人:王珊)。下面主要對資料圖的幾種實作進行簡單介紹,模式圖,可以找上面相關論文進行了解。
二、資料圖典型實作介紹
1、BANK
整體上說一下它的思想是通過關系資料庫進行存儲圖結構的資料加上Dijkstra算法來進行資料的存儲和圖資料的搜尋。該算法第一步先是先是比對所有關鍵詞的關鍵節點,并且以每個關鍵節點為源節點進行一次Dijkstra算法對圖進行周遊,是以可以形成和每個關鍵節點可達的節點堆,該堆是進行了按照到關鍵節點距離進行堆排序的堆。是以可以想想每個關鍵節點的節點堆的第一個元素則是到該關鍵節點最近的節點。利用這個,那麼對每個節點堆一次周遊,每次周遊隻取堆的第一個節點,可以得知,這個取出的節點和節點對對應的關鍵詞是可達的,如果這個節點和所有關鍵節點可達,那麼就可以這個節點為根節點形成一個結果樹,是以需要對這個取出的節點進行标記,标記的目的就是說我這個關鍵節點來過這裡了(有點類似到此一遊的感覺)。這就是BANK的大體上的算法思想。下面提出一個流程圖,幫助大家了解一下。
這種方式存在幾個缺點:由于它的這個算法是需要把整個圖結構加載到記憶體中,是以當節點數一大,那麼可能會收到記憶體的限制。第二個缺點是,它的搜尋是單向的,這樣在效率上面存在一定的缺陷。這個算法也是我研究圖資料挖掘主要研究的對象,因為比較簡單,容易了解。下面針對上面兩個缺陷介紹另外兩個算法。
2、算法
這個算法則是在第一個基礎上面進行了擴充,支援雙向搜尋。進而解決了上麥年的第二個缺陷。具體算法實作,很久沒接觸了,而且當時也沒關注這方面的實作,是以我也不是很清楚,隻是知道它實作了雙向周遊。具體的可以點選标題,看它的論文。
3、BLINK
這個實作是解決了大圖問題,通過對圖進行分割,形成超圖的概念,加載記憶體隻需要把超圖進來,當需要周遊這個超圖節點的時候,再将超圖節點裡面的明細節點加載到記憶體,基于這個概念可以很好的解決節點數量大而受記憶體的限制,這個算法有點類似地圖的放大鏡,當需要展示某一塊(超圖節點)的時候,則加載目前塊的内容,使用者就會看到更加明細的地圖資訊。具體算法,可以點選标題,看看它的論文。
既然說道圖,那麼不得不提一下在圖資料庫方面最流行的neo4j.neo4j是在09年過年的時候接觸的,當時是調研以何種方式來存儲圖資料,是以當時弄了一下,後沒就沒關注了。當時看neo4j真的很小,不像現在這麼成熟。
三、NEO4J預覽
在NEO4J官方文檔裡面會看到下面幾點介紹圖資料庫。
“A Graph —records data in→ Nodes —which have→ Properties”
上面很簡單明了的介紹了圖是什麼,圖是以節點存儲記錄資料,而節點資料是以屬性形式關聯節點。
“Nodes —are organized by→ Relationships —which also have→ Properties”
這句話說明了關系在圖中的作用,可以了解節點是通過關系來進行組織和管理,并且關系也可以包裹屬性資訊。
“Nodes —are grouped by→ Labels —into→ Sets”
在圖中标簽的作用就是對節點進行分組,并且同一個标簽的節點會放到一個集合中,這個有點類似上面說的對圖進行分割。比如:給節點貼上一個“人”的标簽,那麼當對圖進行搜尋的時候,當指定“人”這個标簽的時候,那麼隻會找到所有人的節點,而不會找到貓,狗等節點。這樣可以提高圖的周遊速度,而且可以更好的管理圖的節點。
“A Traversal —navigates→ a Graph; it —identifies→ Paths —which order→ Nodes”
一個路徑的周遊,它可以正确的導航整個圖的結構周遊,并且它可以對應一系列路徑,這些路徑則是将所有節點串聯起來。這個解釋了搜尋在圖中的定位,一條搜尋可以對應多條路徑,也就是多條結果,而每個結果包含一系列節點。
“An Index —maps from→ Properties —to either→ Nodes or Relationships”
圖中的建立索引的資料來自于節點和關系的屬性,并且索引會直接映射到節點和關系。這樣可以通過索引周遊圖中的節點和關系,以得到結果。
“A Graph Database —manages a→ Graph and —also manages related→ Indexes”
這裡明确的表示了圖資料是幹什麼的,同時也表達了NEO4J是幹什麼的。他是管理和維護圖資料CRUD,并且維護圖資料的索引建立和更新。是對圖資料操作的一個對外接口。
諸葛IO是37degree(北京樂享天下科技有限公司)2015年2月推出的是一款基于使用者洞察的精細化營運管理工具,以使用者跟蹤技術和簡單易用的內建開發方法,助力移動應用的營運者們挖掘使用者的真實行為與屬性。
http://zhugeio.com/news/?p=569