導語:“不服跑個分?”是一個老梗了。雖然,我們不能盲目崇信跑分,但跑分的确是一種比較直覺反映軟硬體性能的方式。不過,相比手機跑個分,資料庫性能測試卻要複雜的多……

最近,一家小公司颠覆了我們的認知!它完整的通過資料庫界最難的一個測試标準TPC-DS,說是登頂了資料庫領域的最高峰,并不為過,因為,此前的12年裡,全球還沒有任何一家公司成功過。
基準測試結果:
http://www.tpc.org/tpcds/results/tpcds_advanced_sort.asp
5月3日,這家公司還在自家的使用者大會上釋出了一系列創新産品:人工智能平台智子;一站式大資料平台産品:TDH6.0,分布式圖資料庫StellarDB,分布式閃存資料庫ArgoDB;大資料雲平台産品Data Cloud。
這家公司叫“星環科技”,創始人團隊均出自Intel,或許Intel都不曾想到,五年前被砍掉的一個項目,居然成就了今天這個估值超過20億,年營收超過2個億,騰訊都搶着投錢下注的公司。
我們首先回顧下事情的經過,5月3日,全球知名的資料管理系統評測基準标準化組織TPC宣布,星環TDH平台成為全球首個經過TPC官方稽核的TPC-DS基準測試的資料平台,打破了該領域十二年來沒有公司通過該項測試的局面,在世界範圍内填補了該項技術的空白。
該基準測試使用思科UCS內建基礎架構用于大資料和分析以及Transwarp Data Hub v5.1。
也許很多人不清楚TPC是個什麼組織,TPC-DS是個什麼測試,我們先行腦補。
衆所周知,使用者在選用平台時,面對的是一個缤紛繁雜的世界。使用者希望有一種度量标準,能夠量化計算機系統的性能,以此作為選型的依據。是以,誕生了衆多标準化組織,而TPC就是其中之一。
TPC (事務性能管理委員會)是目前全球最知名的資料管理系統評測基準标準化組織。它的功能是制定商務應用基準程式(Benchmark)的标準規範、性能和價格度量,并管理測試結果的釋出。
在過去二十多年間,該機構釋出了多項資料庫評測基準,如TPC-A、TPC-D、TPC-H和TPC-DS,在業界得到了廣泛應用,相對而言,TPC在學術界和工業界擁有更強的影響力。
TPC-DS最早是用來衡量資料庫分析性能的基準測試。它是2006年在第32屆VLDB資料庫會議上提出,有99個測試。但基準測試不僅僅涉及這些查詢。測試過程和名額包括以下六個步驟(更多詳細資訊,請參閱TPC-DS規範):
資料負載測試(LD)
功耗測試(PT)在一個流中運作99個查詢。
吞吐量測試1(TT1)在多個流中運作99個查詢。
維護測試1(DM1)使用重新整理功能更新資料庫。
吞吐量測試2(TT2)在多個流中重新運作99個查詢。
維護測試(DM2)使用重新整理功能重新更新資料庫。
這99個查詢被定義為模闆。每個查詢都有幾個參數,這些參數由dsqgen和SEED确定,具體為“被選為用格式mmddhhmmsss”表示的資料庫加載時間結束時間(加載結束時間)的時間戳。這個時間戳“保證查詢替換參數值在運作之前是未知的”。除參數外,不同流的查詢順序也不相同。下圖顯示了執行順序。
TPC-DS的性能結果取決于每個步驟的時間(生成SQL的時間不是結果的一部分)。根據TPC-DS測試流程,SQL文法和事務支援,優化,穩定性和可伸縮性被确定為DBMS的關鍵因素。
自從這個标準提出到今天,12年來,一直沒有一個産品能通過。是以,被視為資料庫界最難的一個測試标準,每隔一兩年都會在資料庫頂級會議上被讨論,但遺憾的是一直沒有人能通過。
而TPC-DS測試模拟場景的資料量都比較大,一般10TB起步,傳統資料庫廠商多年都未通過,如IBM、Oracle、Teradata都曾做過嘗試,但并沒有成功。而大資料庫廠商出現以後,為了衡量SQL和Hadoop誰更好,從 2014年開始,主流Hadoop廠商(如Cloudera, Hortonworks,Databricks)也開始試圖攻破這一難題,每年都會去測上一次,也依然沒有取得什麼實質進展。
星環科技創始人、董事長孫元浩在接受筆者采訪時表示:“我們參與測試的目的,并不是為了測試而測試,最初,我們的目的隻是為了衡量我們的産品處于什麼樣的水準階段,同時看看能不能通過測試。”
孫元浩說:“實際上,我們在2014年底就通過了第一階段測試,而後面的步驟花了三年多的時間,去年7月,我們把測試結果送出給TPC組織,他們花了五個月的時間去審計結果。審計完以後再把所有測試結果和過程的全部公開在網上,接受質疑,是以它的難度是非常高的。”
目前,國外廠商對TPC-DS的攻關還處在第一階段,孫元浩補充道。
由于SQL或事務支援限制,大多數基于Hadoop的廠商無法運作完整的TPC-DS基準測試。由于架構和優化限制,傳統資料庫廠商難以通過測試或無法取得良好結果,尤其是在大資料環境下,比如傳統資料庫由于架構限制,當有大量資料交換時,會導緻單個節點瓶頸。為了降低影響,一些廠商會引入了特殊裝置來處理資料交換,這使得系統的成本很高。
而星環能通過完整測試,毫無疑問的證明,在某些領域星環與國外廠商技術上的差距總體來說已經很小,甚至在某些方面已經超過了國外廠商。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/11310314/viewspace-2154485/,如需轉載,請注明出處,否則将追究法律責任。
轉載于:http://blog.itpub.net/11310314/viewspace-2154485/