東北大學破解大資料分析難題

日前在東北大學獲悉，由該校教授王國仁牽頭研發的項目“海量異構資料內建管理與分析技術及應用”，成功破解大資料內建品質、管理效率和分析可伸縮性等關鍵難題，實作對異構大資料的內建、管理、分析，将對我國“數字水資源”“數字醫療”和“數字國土資源”等領域海量異構資料內建管理與分析發揮不可替代的重要作用。

據介紹，大資料處理過程中的海量資料已遠遠超出了人們掌握和了解資料的能力。特别是異構資料，由于缺乏統一的格式與規範，在各部門和各軟體系統中的流動與共享困難重重。針對這些難題，王國仁帶領研究團隊開展攻關，從模式比對、資料清洗、資料管理和資料分析等關鍵技術切入，成功設計出一套基于人機互動的資料內建體系。與目前國際上最先進的資料清洗系統相比，該系統資料內建品質提升10%以上，內建方法的可用性居世界領先水準，與國際通用的系統相比，資料管理效率提升50%以上，并在國際上率先提出了面向大資料的分布式極限學習機資料分析技術。該系統的平台可伸縮性、資料可伸縮性、隐層節點可伸縮性、資料标注可伸縮性最高提升近20倍。

本文轉自d1net（轉載）