下秒資料受邀參加CSDN"現代資料棧峰會",活動圓滿結束
近幾年,随着雲計算技術的成熟,一個圍繞在雲資料倉庫周圍的資料工具生态正在蓬勃的發展,它們被叫做現代資料技術棧。相對于傳統的資料平台,使用它們可以讓資料具備更好的可操作性,進而降低資料從産生到被企業中資料工作者可以使用的時間,實作資訊同步,輔助企業管理者更科學決策。
圍繞現代資料棧有一堆的新技術,包括湖倉一體、ELT、資料管道、Dataops、反向ETL、Metric
Store、Data engineering等等。伴随國内公有雲市場的高速發展以及各SaaS系統之間的開放對接,資訊資料的爆增等企業現狀,資料有效整合,資料內建,使資料價值得以充分展現,促進企業數字化轉型毋庸置疑成為行業共識。
7月12日本周二,由CSDN主辦的雲原生系列線上峰會 ——
”現代資料棧峰會“成功舉辦,行業專家與線上行業同仁們一起探讨現代資料棧最新技術和最佳實踐,幫助大家多角度、全方位了解現代技術棧。下秒科技聯合創始人李元佳有幸受邀請擔任出品人,下秒資料CEO蔡緻暖受邀參會,與快用雲科聯合創始人閻志濤、白鲸開源聯合創始人代立冬、Kyligence合夥人兼副總裁李棟就“現代資料棧”主題進行深度演講。
”受存儲成本及計算能力的限制,傳統資料架構在處理資料時主要是分段進行“,下秒資料聯合創始人李元佳在開場分享中表示,”而雲所具有的存儲成本及高計算性能的優勢為資料架構的發展提供新的可能性,現代資料棧(Modern Data Stack,MDS)的生态正在形成“,這是現代數字化階段使然的。
1 雲原生的資料管道
下秒資料CEO蔡緻暖針對資料管道1.0至3.0的疊代過程及技術特點發表了詳細的演講。
蔡緻暖表示,”資料管道解決的是如何自動化地把不同來源的資料傳遞給組織中的人、系統、應用程式,并将資料轉化為業務價值。“
”最終,組織像用水和用電一樣用資料。” 蔡緻暖認為。
2 Data Modeling in Modern Data Stack
快用雲科聯合創始人閻志濤表示企業使用資料進行驅動也是不可逆轉的趨勢,并針對資料模組化及其在現代資料棧中的應用做了深入分享,包括Dbt、Dataform、Datameer、QuickTable。
3 現代資料棧之DataOps
DataOps是一種協作式資料管理的實踐,緻力于改善組織中資料管理者與使用者之間資料流的溝通,內建和自動化。關于這方面白鲸開源聯合創始人代立冬有深刻的了解,“
雲原生分布式大資料工作流排程系統DolphinScheduler所具備的高可靠性、簡單易用、高拓展性、雲原生能力等優勢,正是其受歡迎的原因。”并從DataOps的任務編排、資料內建能力以及其與開源的關系三個方面進行深入剖析、分享實際案例。
4 從資料湖到名額中台,提升資料分析ROI
Kyligence合夥人兼副總裁李棟為我們分享了中台發展的趨勢及資料分析ROI的三大困境:
- 名額口徑不一——資料量很大,但缺少信任;
- “渾濁”的資料湖——寬表爆炸,資料存儲和ETL任務備援;
- IT成本&時效性——IT成本随資料量和使用者量增長而迅速增長。
最後我們可以了解到,随着雲技術的加速發展,市場在面臨挑戰與機遇的同時,各位演講嘉賓仍然對未來充滿期待。
關于「下秒資料」
「下秒資料」正圍繞API打造的低代碼能力擴充更豐富更實用的業務應用場景,通過智能資料管道做資料整合、分析模組化後再反哺資料結果到對應的SaaS或其他應用中來驗證實作更多應用場景。
下秒資料通過提供預內建的子產品,預置連接配接器以及預置模型,使用者隻需要一個api就能輕松打通異構,自動生成業務資料分析結果。無需費力處理資料源,思考資料名額次元,通過預置的業務名額模型就能一鍵生成。比如,Nexadata會和用友、騰訊廣告、旺店通等應用的資料內建好,通過API進行所需資料的對接。在客戶所需資料得以內建到資料倉庫後,Nexadata會幫助進行資料模組化。在具體落地上,Nexadata會針對每個平台打造專門的連接配接器用以對接資料,并在對接好資料之後,再通過各個行業的特點,進行場景化模組化(如客戶在騰訊、頭條、快手等不同平台投放廣告後,系統會屏蔽不同平台的差異,自動整理諸如PV、UV等名額形成統一的ROI模型),輔助客戶業務。