天天看點

借助Smartbi智分析雲端平台,秒處理百萬行資料

EXCEL處理大資料的能力一向是飽受诟病,就拿幾十萬行的資料來說吧,如果要在EXCEL裡打開這麼大的檔案,少說都要幾分鐘,萬一中間出現了卡死,又要重新來一遍,會把人折磨的不要不要的。是以為了可以處理更大的資料量,多數人會舍棄EXCEL而轉投到資料庫的陣營裡,但是要懂得資料庫也并非是一件易事,首先各種資料庫的名字已經足夠讓人迷糊了,什麼oracle、mysql、obase這些,加上還要懂得資料存儲,還要會寫sql語句,這些頭疼的事情不禁會讓沒有資料庫基礎的人抓狂:天哪,放過我吧!我們隻是會用EXCEL而已,這些技術名詞也太深奧了,能不能有些更加簡單的方法啊?

其實要解決EXCEL處理大容量資料困難的問題,不一定要借助Access、SQL Server、MYSQL等大型資料庫,我們可以利用雲端伺服器對大容量的資料進行相應的處理,再把得出的結果提取到EXCEL裡進行分析,以Smartbi智分析雲平台為例,把超過百萬行的資料量導進到雲服務平台裡,并與EXCEL進行相連,在雲端對資料進行透視後,再把分析結果呈現到EXCEL裡進行圖表制作,整個過程也就幾十秒的時間,就輕松把百萬行的資料給攻破了,這是由于雲端平台有着高速處理資料的能力,是以資訊處理都是利用大型網絡伺服器進行加工和存儲的,這些強大的處理能力是EXCEL無法比拟的。下面我們通過這個思路教大家認識一下EXCEL是如何通過雲服務平台對百萬行級的資料量進行分析處理。

借助Smartbi智分析雲端平台,秒處理百萬行資料

第一步:安裝插件

首先要下載下傳一個Smartbi智分析的excel插件,安裝在EXCEL裡,過程非常簡單,安裝完成之後,EXCEL的界面裡會出現一個新的工具欄。

借助Smartbi智分析雲端平台,秒處理百萬行資料

第二步:導入資料

登入Smartbi雲端平台後,可以看到導航欄裡會有資料連接配接的選項,點選進去後會看到EXCEL和CSV檔案的導入路徑,這裡我嘗試用一份EXCEL表格導進去看下速度有多快,于是我找了一份約130兆容量和資料量接近100萬行的某汽車公司銷售資料進行測試,選擇好存放的路徑後便開始進行導數,過程非常順利,不到一分鐘的時間便完成了導數的過程,這個速度比SQL Server導入EXCEL資料的時間快多了。

借助Smartbi智分析雲端平台,秒處理百萬行資料
借助Smartbi智分析雲端平台,秒處理百萬行資料

第三步:雲端透視

把100萬行的資料源導進去後,便可以在雲端平台上進行簡單的透視分析,這個步驟非常智能,和EXCEL表的透視表的功能是差不多的,隻要拉拽需要分析的字段出來,便可以對資料源進行透視,處理時間基本是零延遲,而且還可以建立路徑成本,通過時間維建立同比、環比等名額。比如這裡我想看車系在行業裡的銷售額情況,我選了3個字段,分别是line(車系)、cust_industry(行業)、amount(銷售額),把字段拉拽到下面的篩選區裡,便快速得出下圖的分析結果。

第四步:EXCEL分析

如果需要把上圖的透視圖放到EXCEL裡去分析和制作圖表,也是沒問題的,隻要把上面的透視分析儲存在雲平台上,再回到EXCEL裡打開資料集面闆,找到剛剛儲存好的透視分析,把相關的字段拉拽到EXCEL裡,一樣也可以建立建立透視表和制作你想要的圖表,而且速度非常快,基本是零延遲。

借助Smartbi智分析雲端平台,秒處理百萬行資料

如果需要追加資料,可以在資料導入的界面裡選擇添加到已有表把新的資料源追加進去,導入資料後,隻需在EXCEL裡點選重新整理,所有的報表即可進行自動更新。

借助Smartbi智分析雲端平台,秒處理百萬行資料

經過上面的簡單操作步驟,在非常短的時間便可以完成100萬行資料量的分析,我們再來對比一下EXCEL獨立處理該份資料的速度,我在電腦裡直接打開了這份龐大的資料,并用了計時器進行計時,經過漫長的等待後,我們看下最後的用時:2分46秒,真是相當長的時間。。。這裡特别說明一下,我的電腦是I7+500G固态硬碟,如果是低于這個配置的電腦,可能用時會更長。

那麼在EXCEL裡對這個100萬行的的表格建立一個透視表要用時多久呢,我也測試了一下,大概需要8-10秒,這個處理速度對比雲端伺服器也是遜色許多。

借助Smartbi智分析雲端平台,秒處理百萬行資料

經過上面兩個處理工具的對比,明顯可以看出雲端平台在處理速度上更有優勢,通過雲端平台對百萬行的資料進行秒處理,可以為你節省大量的等待時間,彌補了傳統EXCEL在處理百萬行資料時的種種弊端,在資訊時代尤為發達的今天,時間就是金錢,如果你想更高效地處理你手中的大容量資料源,不妨嘗試一下這種新型的方法。

繼續閱讀