深層資料：推動大資料成功的關鍵所在

firstfuel公司cto表示，尋求規模更小、更具相關性的濃縮型資訊是解開大資料無窮潛力的關鍵所在。

毫無疑問，大家肯定都聽說過“大資料”，但“深層資料”呢？答案恐怕是否定的。不用緊張，我并不打算給硬塞給大家新的專業詞彙。不過鑒于近期以來企業使用者正持續就需要收集并管理的資料量展開争論，我認為深層資料的概念應當進入各位關注資料潛力的企業使用者的扁當中。專注于建築行業能源利用效率的分析企業firstfuel公司cto兼首席資料官badri

raghavan對此有着自己的獨到見解。該公司的客戶們，包括政府機關與能源機構，都在使用firstfuel的能源分析服務以推動更為環保、更具成本效益的方案向辦公環境、學校以及其它設施建設領域的普及。

在一次電話采訪當中，raghavan談到了他對于“深層資料”的看法以及firstfuel公司如何将這一理念轉化為自身競争優勢。

“我們所謂的‘深層資料’其實是相關領域多種專業性知識儲備的綜合體——對于我們來說，也就是能源行業與資料科學的結合——旨在幫助技術人員從宏觀規模角度對建築的能源使用情況作出分析，”他告訴我們。

深層資料的概念與資訊密度擁有密不可分的關聯。“給定資料流當中可能包含大量資訊，”raghavan表示。“相反，大家也有可能收集到大量缺乏足夠結論性内容或者資訊的資料。”

大家可能已經猜到了，raghavan本人對于資料收集或者盡可能彙總更多資訊的作法并不認同。但目前很多企業都是這樣做的，即在尚不确定是否有意義的情況下盲目彙集規模龐大的資料總量。

資料收集的真正核心在于效率，或者說“對目前已經掌握的資料資産加以利用。要實作這一目标，我們需要首先明确自己需要解決哪些技術或者業務難題。在大家可資利用的資源當中，哪一種資料流的作用最為重要？”

在firstfuel所從事的行業當中——即分析大型建築物的能源消耗情況——單一資料流往往成為最重要的計量資料。

“我們會把計量資料作為一棟建築物的掃描結果。利用我們的資料科學算法，我們可以對建築物的健康狀況作出分析、找出其中的薄弱環節以及仍有效率提升空間的部分。”

他指出，這就是深層資料實際起效的一類極佳執行個體。計量資料是“一種相對精練的資料流，但其中包含的内容卻相當豐富，”firstfuel得以借此定位其最感興趣的問題：找出能源消耗當中有違效率優先原則的狀況。

當然，對于很多企業來說最重要的是摸清哪些資料流最具分析價值，而後還需要将其與其它資料加以結合以獲得新的分析結論。

firstfuel已經找到了幾種通常最具潛在價值的資料流類型。

“計量資料能夠告訴我們與建築物相關的大量資訊，”raghavan指出。“接下來我們開始使用高分辨率航空影像——是的，就是谷歌地球，我們在工作中大量使用這類資料。從我們的角度來看，其中包含豐富的潛在資訊。它能告訴我們這些建築物樓頂布置有哪些類型的裝置，”而firstfuel能夠借此大體判斷對應建築物需要消費的能源總量。

這家分析企業還将來自國家氣象服務中心的資料納入考量範疇。“我們着手進行設定，并逐漸逐漸再逐漸将其引入。隻要能夠對資訊分析結論起到改進作用，我們就會将相關資料流納入考量。”而根據他的說法，這就是深層資料的基本概念。“大家可以對規模相對較小的資料集進行深層研究，而不再像過去那樣長期面對浩如煙海的資料總和……并試圖從其中撈到象征有價值結論的小針。”

舉例來說，firstfuel完全可以收集多種額外資料——其中包括與交通流量及泊車狀況有關的資訊，此外twitter資料流也有涉及——但事實上根本沒有明确的理由驅使他們選擇這樣費力的方式。

“相對于直接躍入存在海量資料可資進行潛在分析的大資料海洋、卻往往最終幾乎甚至完全得不到有價值資訊，我們更傾向于從規模相對較小的資料量中獲得更大收益——即将注意力集中在那些能夠切實反映建築物客觀狀況的資料身上，”raghavan指出。“在制定出這樣的解決思路後，接下來我們會逐漸把想法變成現實。”

原文釋出時間為：2014-08-01

本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号