掌握和處理大量資料對于it部門來說是一個挑戰。以下是人工智能(ai)和機器學習如何幫助人們分類、組織和彙總大量資訊的方法。
根據三星公司的調查，2016年全球網際網路流量超過了1zb，即10億兆位元組。這個數字是巨大的，但這個資料量與全球各企業正在存儲的全部資料相比還相差甚遠。
更重要的是，在大多數公司中，資料處在“管理之下”的這個用詞有些不當。
資料管理挑戰的關鍵領域是：
了解暗資料
資料保留
實作最佳分析結果的資料內建
資料通路
it部門在這些領域進行艱苦努力的原因如下：
所有類型的輸入資料流(其中大部分是非結構化的)太大，無法每天進行管理，是以最終将資料放在任何地方。
電子發現和行業法規對曆史資料的法律和審計流程的要求使得業務決策者不願放棄資料，最終使用者并不喜歡在年度審查會議上讨論資料保留政策。
資料內建是it部門面臨的最困難的任務之一，像資料聚合這樣的概念在分析中發揮更大的作用才會加強，是以看似不同的資料集合可以組合成可搜尋的存儲庫，用于新型的業務查詢。
快速通路資料是一種業務需求，但是高端存儲在現場或雲端的價格昂貴，是以一些資料必須歸檔到速度更慢，成本更低的存儲空間中。為了解決這些問題，組織管理層将項目的人力物力主要放在了其他重要的目标上。
現在的問題是：機器學習、人工智能(ai)和分析學是否能在資料管理方面提供幫助，特别是對于大量非結構化資料?
以下是機器學習，人工智能和分析可以在以下幾個方面提供幫助：
(1) 暗資料排序
每個企業系統和每個業務部門都有一些積累的資料，但是人們對此一無所知。通過使用機器學習并結合其功能與算法，可以解決如何排序和處理存儲在伺服器上的不同類型的電子郵件，文檔，圖像等檔案，機器學習，人工智能(ai)和分析可以對這個未釋出的資料進行處理，而經驗豐富，知識淵博的從業人員可以檢視和回顧自動化推薦的資料分類方案，調整并執行方案。該過程的一部分還可以解決資料保留問題，其分析将産生一組可能從檔案中清除資料的建議。
(2) 決定丢棄哪些資料
機器學習，分析和人工智能(ai)可以客觀地識别那些很少使用或從未使用過的資料，并建議從業人員将其丢棄，但它并不具備與從業人員相同的識别能力。例如，這些程序可以選擇未通路五年以上的資料或記錄，表明資料可能已過時。這樣可以節省員工的時間來查找這個潛在的過時資料，因為現在他們需要做的隻是确定是否有任何理由保留它。
(3) 彙總資料
當分析開發人員确定需要聚合查詢的資料類型時，他們常常為應用程式生成一個存儲庫，然後從不同的源中提取各種類型的資料，以形成一個分析資料池。要做到這一點，他們必須開發內建方法來通路不同的資料源。機器學習可以通過自動開發資料源和應用程式的資料存儲庫之間的“映射”，使這種人工過程更加高效。這減少了內建和聚合時間。
(4) 組織資料存儲以獲得最佳通路
在過去的五年中，由于低成本固态存儲的發展，資料存儲供應商已經在自動化存儲管理方面取得了重大進展。這些技術進步使it部門能夠使用“智能”存儲引擎，使用機器學習來檢視最常使用哪些類型的資料，哪些資料很少使用或從不使用。根據插入到機器算法中的業務規則，自動化能夠以快速存儲或慢速存儲來自動存儲資料。自動化可以讓存儲管理者不必人工解決存儲優化問題。
資料管理是一個主要的it挑戰，在大多數組織中并沒有很好的解決方案，這是因為随着資料的不斷流入，資料管理将會變得更糟。
首席資訊官，資料架構師，以及存儲管理者需要向企業高管強調這個問題，但資料管理項目并不容易通過花費費用來解決。
然而，it經理通過指出資料管理的分析時間，以及可以降低人力和存儲成本的價值，至少在與企業管理者讨論如何提高戰略靈活性并降低營運成本的同時，這将成為一個至關重要的切入點。
本文作者：佚名
來源：51cto