The Wolfram Data Drop 技術_II
(接上篇) 值得一提的是,當我們從資料倉中擷取資料時,擷取的不僅僅是原始資料,還有一些其他關鍵資訊。這個例子能展現 Wolfram Data Drop 的一個關鍵特征:Wolfram Data Drop 不僅儲存原始資料,還能夠儲存這些資料發生時的各種關鍵因素,這樣一來,使用者在任何時候都能清晰、直覺地了解這些資料。為了實作這一功能,我們采用了一項先進技術:Wolfram資料架構(WDF)。
WDF 建立之初通常與 Wolfram|Alpha 搭配使用,它是真實世界資料的标準符号代表。Wolfram Data Drop 裡的每一個資料倉都可運用 WDF 定義一個資料語義簽名來詳細說明這些資料該如何解讀,以及我們的自動導入和自然語言了解系統該如何處理這些新資料。
以上這些功能的妙處在于,隻要資料存在于 Wolfram Data Drop,使用者就可以随時随地利用Wolfram 語言以及安裝 Wolfram語言 的其他任何系統解讀和擷取這些資料。譬如,利用Wolfram|Alpha 以及應用 Wolfram|Alpha 的其他智能裝置,我們可以立即擷取儲存于Wolfram Data Drop中的任何公開資料倉。我們隻需要告訴 Wolfram|Alpha 該資料倉的名稱,它就會自動分析并生成關于該資料倉的資料報告。

通過 WDF,Wolfram Data Drop 可以立即處理10000種以上不同的計算機關和實體量。但 Wolfram Data Drop 并不隻局限于處理數字或可量化資料,如果需要,你甚至可以存入任任何資訊。由于Wolfram語言是一種符号語言,它可以對這些資訊進行統一處理。
Wolfram Data Drop自動會對存入的資料附上時間戳,并也在具有定位功能,這兩項功能在WDF中有明确的标準表示,類似的功能還有化學、城市、物種、網絡以及其他的成千上萬種事物。當然你也可以将圖檔等檔案存入Wolfram Data Drop。
在我們公司的産品品質部,公司同僚将樹莓派上連接配接的攝像頭放置在最近買的兩條金魚前面,相機每十分鐘拍攝一次并将拍攝的照片傳入Wolfram Data Drop的資料倉中:
利用Wolfram語言,我們能輕松地将這些一系列照片三維層疊在一起:
我們也能通過處理這些照片得到金魚在魚缸空間位置的停留時間的熱力圖:
利用Wolfram語言,我們能做各種各樣的分析。但最令我激動的是,通過Wolfram Data Drop,将真實世界的資料轉化為Wolfram語言實在是太友善了!
在我們公司裡,使用資料倉的人數增加得非常快,因為建立資料并連接配接至現有的監控系統實在是太輕松了。目前,我們已經為伺服器機房的空調系統、總部大廈房頂的氣象傳感器、休息室的冰箱、網絡連結資料以及Data Drop自身的性能建立了相應的資料倉。而為不同僚物建立的資料倉個數每天都在增加。
同時,個人資料倉的個數也在增加。我自己就一直非常喜歡搜集自身的相關資料,實際上我已經搜集25年以上了。但我斷定2015年3月是一個曆史性的轉變,因為通過Data Drop,搜集資料變得非常簡單,這也意味着我搜集的資料将越來越多.。現在,我擁有一個至少記錄了我25年個人資料的資料倉,而這個數字還将不斷增加。值得注意的是,由于Wolfram Data Drop裡的所有資料都是儲存在WDF中,這些資料都是經過語義化和标準化的。也正因為如此,使用者能夠直接将完全不同資料倉裡的資料進行對比,并用來進行許多有意義的計算。
隻要你存儲的資料量不是很大,Wolfram Data Drop 都是完全免費開放的,任何人都可以通過任何裝置立即将資料存入其中。我們的付費使用者則可以存入更多的資料.
Wolfram Data Drop資料倉可以公開也可以私有,或者可以設定身份驗證. 任何人都可以通過Wolfram Cloud 通路Wolfram Data Drop。獲得Wolfram Private Cloud 的組織或機構也将很快就能擁有其内部專屬的 Data Drop。
那麼,運用Wolfram Data Drop的标準工作流是什麼呢?這取決于你具體要做什麼。以我的經驗看來,僅一個資料倉也通常需要多個工作流。
能夠随時擷取不同資料倉,直接應用于Wolfram語言會話的計算,還可以探索資料倉中的資料,甚至建立一個筆記本文檔,這簡直太便利了!
但在很多工作場景中,一些使用者希望能進行一些自動操作。譬如:使用者能夠預先設定生成資料報告的時間,并發送至設定郵箱;能夠将資料報告上傳到網上,托管在Wolfram Cloud上,或者利用Cloud CDF讓每個人都能對該資料進行探索和研究;每當有人通路頁面時,就自動生成一個新報告,或者使用者可以建立一個可視化資料的UI儀表闆顯示實時報告。
實際上,我們的資料報告不僅僅可以在網上分享,隻要将其儲存于Wolfram Cloud中,使用者可以立即從手機或可穿戴裝置擷取該報告。同時,使用者也可以通過桌面系統擷取報告。
使用者并不需要手動生成報告,使用者需要做的隻是編寫一段Wolfram語言程式來監聽資料倉,在滿足使用者預先設定的條件下時,自動發送信号或執行指定動作。使用者可以将資料倉通路權限設定為公開,通過這種方式來公布和分享資料;也可以将資料倉通路權限設定為私密,隻有自己和指定使用者可以通路。使用者可以建立一個API,通過API來通路原始或是經過處理的資料倉,這樣一來,使用者不僅可以從網上讀取這些資料倉,還通過任何程式設計語言和程式設計系統讀取。
單個資料倉裡的資料可以隻從單個來源擷取資料,也可以成為一個聚合點,從多個來源擷取資料。由于每一個資料片段都被詳細地記錄在資料元中,是以使用者可以清楚的分辨這些資料的來源。
這些年來,我們一直在和一些研究連接配接裝置的公司打交道,尤其是在我們的連接配接裝置項目中。以下場景曾多次發生過:某公司給我介紹他們正在研究的非常棒的新型連接配接裝置,這種連接配接裝置可以測量非常有趣的事物。我問他們,那你們怎麼處理這些連接配接裝置上的資料?通常情況下,他們會告訴我他們也在考慮這個問題,他們不想專門雇一個團隊來建設雲架構、儀表闆和相關的應用程式等。
我們建構Wolfram Data Drop的原因之一可以說是為了解決這些公司的難題。現在他們隻需要搜集資料,然後儲存到Data Drop,這些資料就會上傳到我們的雲端(或是他們自己的專有雲端),這樣一來,他們就可以十分便捷地通過網頁、應用程式、API以及其他很多方法擷取這些資料。
從目前的趨勢看來,很多裝置公司都将用到 Wolfram Data Drop。他們可以通過多種不同的方式将資料導入其中:API、直接連接配接 Wolfram語言、樹莓派電腦、開源軟體、Electric Imp 以及其他Data Drop相容硬體裝置等。此外,他們還可以通過手機、其他智能裝置以及通過已經儲存了資料的其他雲端導入資料。
目前,我們沒有特别好的方法解決如何WIFI和藍牙等裝置導入資料到Data Drop的問題。但是我們正在為此而努力,這樣一來,當我們解決了以上難題時,從那些裝置導入資料到Wolfram Data Drop 就更為便捷了。
從連接配接裝置中擷取資料的方式是多種多樣的。開發者和研究人員可以通過雲端或桌面版的Wolfram語言從Wolfram Cloud中直接擷取資料。面向使用者的驅動裝置公司可以通過Wolfram Cloud建立專屬資料入口,他們還可以通過Wolfram移動應用程式或者他們自己的移動應用程式擷取資料。此外,我們還可以通過可穿戴裝置來擷取資料。
有時候,一些公司希望能從多個裝置中搜集資料,比如在監測網絡和調查研究等項目中。同時,他們的使用者也希望能直接通過Wolfram語言、資料入口或應用程式進行操作。
當我第一次想到Wolfram Data Drop時,我認為儲存在當中的絕大部分資料應該來自自動裝置。但現在,我意識到Wolfram Data Drop對于處理我們人類活動的相關資料也是非常有用處的。我們可以利用Wolfram Data Drop搜集課堂問題答案、整合衆包項目中的回報意見、以日記形式記錄資訊、記錄生命日志等。而Wolfram Data Drop能夠根據這些資料自動生成資料表單,我們可以在手機和網際網路中分享這些資料表單。
Wolfram Data Drop表單支援文字、圖檔等格式。當内容為文字時,我們的自然語言了解系統接受文字輸入并将其自動将其轉化為WDF标準格式。
現在,我們已經可以使用Wolfram Data Drop,我不斷地發現它的功能性和實用性,我甚至不敢相信我居然在沒有它的情況下生活了這麼多年。通過Wolfram語言,Wolfram Data Drop充分展現了其智能自動性:Wolfram Data Drop可以自動過濾許多從外界擷取資料時摻雜的多餘的影響因素。
這樣一來,我們不需要建立其他專門的處理系統,使用者自己就能搜集和分析各種資料。譬如,上周我利用Wolfram Data Drop搜集我們雲性能的資料,一般情況下我根本不會自己做這件事,因為這非常複雜和繁瑣。但利用Data Drop,我隻花了幾分鐘設定,就獲得了非常有趣的結果。Wolfram Data Drop的功能讓我感到興奮和激動,我能利用它做很多事情!同時我也很期待大家會用它來做什麼。大家可以在這裡下載下傳嘗試 Data Drop,并在這裡提出回報意見(當然這些都會被記錄到Data Drop中)。我希望在不久的将來,我們的資料倉能夠成為探索世界基礎構架的一部分:這也是我們達成實作"可計算的世界"這個目标下一步要做的事。