随着物聯網等新興技術的加速發展，傳統企業紛紛開始進行數字化轉型。在此過程中，資料技術的重要性不言而喻。作為企業發展的寶貴資産，資料處理能力與業務發展需求息息相關，資料架構的疊代更新也是企業在數字化轉型下持續探索的一大主題。
::: hljs-center
:::
8 月 13 日，由濤思資料舉辦的前沿資料技術交流盛會「 TDengine 開發者大會」在北京·昆泰嘉瑞文化中心正式舉辦。在本次大會上，濤思資料創始人陶建輝、小米集團副總裁崔寶秋博士、明勢資本創始合夥人黃明明等數十位重磅嘉賓，為與會者貢獻了關于開源、基礎軟體的未來趨勢解讀，以及有關物聯網、IT 運維等項目的資料架構更新經驗。同時，濤思資料宣布了 TDengine 3.0 的重磅釋出，并一一揭秘了其核心特性，諸多颠覆性創新思路讓參會者一睹為快。
“百家争鳴”—— 思想碰撞下定位開源與基礎軟體的未來
TDengine 從 2019 年 7 月就宣布了核心代碼開源，2020 年 8 月又宣布了叢集開源，在開源力量的影響下，發展 5 年，TDengine 的使用者執行個體已經接近 14 萬例，發展了 100+ 企業使用者。
::: hljs-center
:::
一直以來，TDengine 的技術創新都是以使用者需求為出發點。本次大會也邀請到了京東科技 IoT 産品部技術總監闫政和中通科技資深架構師黃國石來到現場，為與會者講述 TDengine 在京東雲物聯網産業場景及中通物流配送業務下車聯網服務平台的應用故事。
作為一種新的商業創新模式，開源的力量我們有目共睹，但關于開源的價值和意義，一千個人眼中有一千個哈姆雷特，百萬個人心中有百萬種定義。在大會主論壇上，小米集團副總裁崔寶秋博士帶領大家回歸開源的本質，探索開源的意義。
::: hljs-center
圖/小米集團副總裁崔寶秋博士
:::
他表示，在網際網路、大資料和人工智能時代，開源是人類技術進步的最佳平台和模式，但開源并不隻是一種提升技術品牌的方法、抑或是軟體分發的手段，它的出發點應該是利他主義和長期主義。“德不孤，必有鄰”，開源項目如果一開始就秉承開放、共享、平等、協同、創新的開源之道，一定會有非常多的共建者自願加入。
一定程度上，開源的力量幫助 TDengine 赢得了國内外的市場，成為衆多企業的首選時序資料庫（Time-Series Database，TSDB）之一，但如果想要持續成功，技術上也要不斷的創新，始終領先于“copy”者，隻有這樣才能真正實作開源的“利他主義”和“長期主義”。
::: hljs-center
圖/TDengine 創始人陶建輝
:::
在 TDengine 創始人陶建輝帶來的《高性能、雲原生的極簡時序資料處理平台》分享中，我們看到了 TDengine 從 1.0 到 2.0 再到 3.0 的不斷疊代更新，技術的發展也在反哺着開源社群，短短三年間，TDengine 在 GitHub 上的 star 數已經超過 18.8k，issue 數達到了 15921。而新鮮出爐的 TDengine 3.0，打造的雲原生資料庫、極簡時序資料平台、便捷的資料分析等特點更是對時序資料庫進行了重新定義。
盡管中國基礎軟體領域已經出現了諸如 TDengine 等數百個國産替代産品，但市場仍然被 Windows、Linux、MySQL、Oracle 等海外玩家壟斷。無論是資料庫還是作業系統軟體，國内的市場幾乎一片空白。在這種發展現狀下，中國基礎軟體的下一步路要怎麼走？
::: hljs-center
圖/明勢資本創始合夥人黃明明
:::
明勢資本創始合夥人黃明明認為，二十一世紀以來，中國制造業崛起，亟需與之比對的基礎軟體，而根植于上一代領先制造業玩家的基礎軟體産品，已經難以滿足更大産值、更大場景、更新玩家的需求，中國企業在新一代基礎軟體戰場上大有可為。在這種有利背景下，技術的開放開源可以成為基礎軟體占領市場的一種手段，它将幫助企業打破信任瓶頸，向海外市場進軍。
可以說，用好開源，國内軟體市場就有望突出重圍，開放開源已經成為颠覆基礎軟體現有市場格局的重要手段。但在開源已經成為趨勢的當下，開源想要成功也需要正确的“道”與“術”。在主論壇的圓桌讨論環節，幾位嘉賓就以此為主題進行了一輪思想碰撞。
::: hljs-center
:::
本次讨論的一個共性思想就是開源想要成功，産品本身的調性和創新非常重要，開源項目被打造出來的初衷一定是想要解決某些場景的共性痛點問題，做有價值的事情，而想要持續吸引使用者和開發者，還需要技術創新來不斷産生新鮮的血液。此外，開源項目一定要具有全球化思維，可以通過擁抱雲原生等新興技術來打通國内外的開源市場。
“技術與創新”—— TDengine 3.0 帶來時序資料庫的革命性突破
::: hljs-center
:::
TDengine 3.0 的重磅出爐讓一衆參會者矚目，為了讓TDengine 社群開發者、關注者和企業使用者更加全面地了解了 3.0 的相關技術和功能，在大會下午的核心技術專場上，核心研發人員進行了一系列關于 3.0 的功能點及核心技術的演講。
近些年來，雖然市面上的時序資料庫産品層出不窮，但業内的諸多難題還未解決，包括與延遲相關的 High-Cardinality 問題，靠第三方工具實作流處理、緩存和資料訂閱功能所帶來的複雜度問題，沒有真正實作雲原生問題等。TDengine 3.0 正是在這種背景下應運而生的。
作為一款真正的雲原生時序資料庫，TDengine 3.0 重構了分布式架構，引入 RAFT 一緻性協定，可以支援 10 億個時間線、100 個節點，徹底解決了時序資料處理裡的“高基數”問題；完善并優化了對消息隊列、流式計算和緩存的支援，可作為一個極簡的時序資料處理平台，解決了系統設計複雜且難以維護的問題；對計算引擎進行了全新設計優化，可提供便捷、完備的資料分析功能。
此外，TDengine 從 1.0 到 2.0 再到 3.0，存儲引擎也在一路更新，TDengine 3.0 更是對存儲引擎進行了全新實作，包含“多引擎混合存儲”、“針對多元度時序資料的存儲優化”兩大創新點。此前，TDengine 憑借“一個裝置一張表”、“超級表”的兩大創新設計，已經實作了較高的存儲性能，在 3.0 對存儲引擎進行優化更新後，存儲性能更上一層樓。
除上述 3.0 的諸多特色外，TDengine 還提供了衆多的輔助功能：支援更強大靈活的标簽索引、基于時間段的預計算、支援 Schemaless 以及更多的寫入協定、支援 Grafana、Google Data Studio 等衆多第三方工具，支援資料增量備份、異地容災、邊雲協同等。
目前 3.0 的所有核心代碼也已經在 GitHub 上正式公開，友善 TDengine 的關注者和支援者下載下傳并體驗。
開源位址：https://github.com/taosdata/T...
“發展與實踐”——物聯網、IT 運維的資料架構更新經驗
::: hljs-center
:::
物聯網、IT 運維等場景下，海量碎片化裝置和巨量時序資料給企業平台發展帶來了一系列新的要求和新的技術挑戰。本次大會邀請了順豐科技、跨越速運、OPPO、韻達和觀測雲等一衆企業客戶，分享他們在物聯網、IT 運維場景下的資料架構更新經驗。
在順豐科技的大資料監控平台中，此前采用的 OpenTSDB+HBase 的全量監控資料存儲方案，存在依賴多、使用成本高和性能無法滿足資料處理需求等問題。為此順豐科技決定對全量監控資料存儲方案進行更新，最終在 IoTDB、Druid、ClickHouse、TDengine 幾款資料庫中選擇了 TDengine 并進行實際應用。
順豐科技大資料平台研發進階工程師尹飛表示，完成改造後，順豐大資料監控平台擺脫了對大資料元件的依賴，有效縮短了資料處理鍊路。在寫入和查詢方面均有顯著提升，同時服務端實體機由 21 台降至 3 台，每日所需存儲空間為 93GB（2 副本），同等副本下僅為 OpenTSDB+HBase 的約 1/10，在降本增效上顯示出了非常大的優勢。
無獨有偶，OPPO 的穿戴産品類業務具有寫入量巨大且存在離線/曆史資料補錄（更新）的處理需求，從提升使用者體驗角度來講，還要具備高效的讀寫效率以及消費類資料的長時間儲存。此前使用的 MongoDB/MySQL 叢集方案，後端存儲壓力較大，需要經常擴盤，同時各個叢集都比較獨立，維護和需求開發成本相對較高。
“經曆了從 MySQL 到 MongoDB 再到 Prometheus 最後到 TDengine 的架構選型之路，我們的選型要素主要有三點：首先，以業務為中心，找到業務中需要解決的關鍵問題，通過對比不同架構選型的表現結果進行篩選；其次，系統要最少修改，即通過較少的改動就能建構新的架構業務能力；第三，最易接入，在這一點上，豐富的讀寫相容接口相當重要，這便于端側業務的擴充。”OPPO 雲計算中心進階後端研發工程師唐恒建表示。
除了上述兩家企業，韻達、觀測雲和跨越速運在資料架構改造前同樣有諸多問題。韻達此前采用 MySQL 分區+索引方式處理訂單掃描量，面對每日億級的資料量，MySQL 出現性能瓶頸，維護成本顯著增加；觀測雲此前使用的 InfluxDB，出現 HA（高可用）叢集模式無法水準擴容，寫入性能約等于單機，且某雲上 InfluxDB 雲産品的高可用叢集版頂配規格仍無法滿足性能要求等等問題；跨越速運則是采用 HBase 處理車載定位裝置資料，在需要查詢較大跨度時間資料時，系統的性能就會顯著下降。
在應用 TDengine 進行系統改造後，韻達的寫入速度和查詢性能都有了顯著提升，寫入速度大概為每秒 5000 行、常用的查詢基本可以在 1 秒之内完成；對于觀測雲來說，TDengine 的邏輯設計使得其既可以滿足高可靠，又能夠滿足大資料量級的讀寫需求，可以很好地支撐住多租戶模式下的系統性能；跨越速運的日增磁盤大小從之前的單台 22GB 下降到 1.4GB，機器資源大幅減少，運維成本顯著降低。