天天看點

資料的陰暗面:什麼是暗資料?為什麼暗資料很重要?

資料的陰暗面:什麼是暗資料?為什麼暗資料很重要?

最近引起熱議的術語暗資料,确切的說,就是來自于大資料的陰暗面。盡管暗資料這個名字聽起來不吉利(讓人聯想到一個少年哥特樂隊會取的綽号),但是或許更加的準确。如果盡量減少不良的預感,暗資料更像是是大資料中光明的一面。

大部分的暗資料都被分類于結構造成的資訊缺乏之中,而且,這些資料隻被使用過一次,最後,就被儲存在邏輯混亂,數量龐大的其他社群之中了。實際上,一個資訊系統産生的80%的文檔都未被二次使用。

那麼,在我們進一步研究暗資料到底是什麼(以及暗資料能夠造成多大的影響)之前,我們必須要了解這個術語是如何出現的。簡而言之,當資訊管理系統遭到頻繁的挑戰,暗資料的出現應該看做一種警示。換而言之,不是我們如何管理資訊,而是我們為什麼要管理資訊。某些資料,應該被隐藏起來。例如品質體系中的審計日志和訓練記錄等作為合乎規格的證據,就應該注意存儲,加強管理。萬一系統和程序被稽核,這類資料就會被用到。作為一個it人的觀點,這種故意而為之的隐藏行為,可以起到一個保證資料安全的功能,同時,能夠預防資料被非法入侵。

但是當頻繁使用的内容在無意之間變成了暗資料的時候,這不僅僅是一種不友善,而是一個嚴峻的問題。當一個許多年前的投資建議書忽然消失,因而必須重建的時候,由此帶來的後果不僅僅是重新修改以及更改用途,更會造成時間的浪費,做無用功。或者,當客戶需要技術支援的時候,作為一個技術支援工程師必須能夠浏覽客戶的所有的曆史記錄,即使所需資料分散在無數的業務解決方案以及文檔存儲庫之中。

專家的意見:從失意之路轉化到成功彼岸

自從暗資料這個名詞出現以來,它被冠上的定義仍然有些悚人聽聞,但是,專家們抛開其負面的問題,也就是說,将注意力投向暗資料的潛在價值,即最大程度的利用企業的資訊資産。

gartner,把暗資料當做一種積極的“鬧鐘”,提醒企業應該改變未被利用的資料的現狀。“當正常的業務活動開展時,結構的收集,處理以及存儲的資訊就會轉變成暗資料,尤其當這些資料不會被再次使用之後。”同樣,forbes認為暗資料由過街老鼠轉變為香馍馍隻有一個辦法,就是将這些資料運用在其他的業務之中。“暗資料産生于不斷增加的複雜的加工程序之中,由此,使之具備了規劃未來産業形态的能力。”

将暗資料加入上下文之中,加入中繼資料的工作之中

最先提到暗資料時,我們首先會聯想到它是對資訊管理的一種挑戰。現如今再提及暗資料的時候,我們會從一個更加理智的方面,把它看做一種管理利用現有資訊的手段。由引擎驅使的就是中繼資料——從字面上看,就是關于資料的資料,可以在一個開放的領域内,進行确認,連結以及選取互相滲透的資訊。

至于如何實作該建議,我們應該擴充自己對于中繼資料的使用方法,來創造一個更具整體性的商業觀點,而不是局限于自身對中繼資料的觀念。中繼資料包含着特殊的屬性,它不僅僅和系統中的關鍵元素互相聯系,同樣,也可以智能地被項目、客戶、工作流、狀态欄以及其他的因子用于操控程序、分類資料。資訊财産的價值隻有當提及與其相關的中繼資料的總量,才能展現出來。

當駕駛員在路上需要物件來照亮的時候,對比于暗資料,中繼資料就像是一組全方位的車前燈,使用它的目的非常明确。中繼資料能夠通過一個或多個代碼庫闡明這些關系,或者通過一個erp系統和crm系統,也能夠确認資訊在一個相容的環境下被讀取,存儲以及分享。中繼資料可以提供一個簡明扼要的方式,來查找資料源或者曆史資訊,在此同時,可以確定工作流和業務流程都已被合理的管理。

更深層次的挖掘這個想法之後,就會發現,中繼資料也可以組成關于檔案的發展和循環的資訊,而這些記錄更是包含了客戶、流程、以及涉及到應用的創新、修訂、存檔、保留和銷毀。完全能夠和粒度細節相媲美、深度挖掘如評審、準許以及存取許可改變的确切時間戳。

從灰暗面到光明面:管理中繼資料

正因為暗資料是大資料的萎靡面,要扭轉這樣的局面隻能依靠對中繼資料的管理。而且,it行業的管理者在管理結構的時候也會獲得更多的靈活性。把中繼資料當做一個微錨節點加入到檔案之中,可以保證所有的企業資訊都是可查找的,可利用的,可輸出的——無論是任何種類的檔案,格式和對象均可。

在這樣的模式下企業就會發現,中繼資料常駐的時候,重要的資料就變少了。但是,資訊該被最好的分類管理,以實作資訊使用和資訊價值的最大化。通過單獨管理中繼資料,組織可以獲得一個更為全面的企業内容的觀念,即使與中繼資料相關聯的資訊中沒有出現新的檔案,如審計和偏差,中繼資料也可以提供一個過程和流程,使之變成自己的财産。

是以,當我們把暗資料當做一種未被充分利用的資訊,就可以看出中繼資料包含了像素,如果你願意,照明資訊資産的連通和連配,用以創造一個觀察資訊的360度的視角。這種對資訊管理的全景方法,不僅僅将暗資料予以利用,也使得分散的資訊能夠被更直接的運用。

本文作者:佚名

來源:51cto

下一篇: 工具|PyCharm

繼續閱讀