
核心技術是國之重器,加速推進核心領域關鍵技術突破,完成核心網絡中的軟硬體國産替代是國家長期戰略。
“十四五”規劃更是明确,聚力攻堅基礎軟體,加速分布式資料庫/混合事務分析處理資料庫等産品研發推廣。強化基礎元件供給,大力發展雲計算/大資料/人工智能/區塊鍊等平台軟體開發架構。
自主可控和國産化替代刻不容緩。過去微軟“黑屏悶”事件、美國“棱鏡門”事件、中興制裁事件已經說明了沒有核心技術就會受制于人,今年俄烏事件發生後,200多家科技公司宣布暫停在俄羅斯的所有業務,包括晶片、軟體、雲服務等斷供,哪裡還有“科技無國界”?要擺脫被科技制裁的風險唯一出路就是自主研發、自主可控。
星環科技自2013年成立以來,就以自主研發為己任,不僅自主研發了大資料與雲基礎平台、分布式關系型資料庫、資料開發與智能分析工具的軟體産品全系列産品,為企業數字化轉型提供了真正的國産數字底座,以提供資料內建、存儲、治理、模組化、挖掘、分析和流通能力,可以推動資料規範化、資産化、業務化,推進業務資料化、智能化,而且産品能力更強更全,領先于國外,在基于容器的資料雲技術、分布式技術、資料庫技術、多模型資料的統一處理技術、SQL編譯技術、大資料開發與智能分析技術等6大類技術上擁有31項具備先進性的核心技術,擁有了一大批發明專利。參加并且通過了工信部自主代碼掃描測試,完全符合信創驗收标準,多個産品進入了國家軟硬體技術圖譜。
在自主研發創新的同時,星環科技也在積極參與國家信創工作。星環科技作為信創工委會WG24大資料工作組的小組組長及副組長機關,牽頭制定信創大資料行業标準及規範,并深度參與産品圖譜編制、産業白皮書、案例集編撰等工作。
星環科技全系列産品替代國外進口産品
星環科技擁有成熟的基礎軟體替代解決方案,完全滿足信創驗收要求,取得了衆多的成果。
大資料基礎平台TDH可以完美的替代CDH/HDP和CDP,提升功能、性能、穩定性、易用性、擴充性、可靠性、安全、國産生态支援等能力,提供多種模型支援能力,性能的提升可以達到5到100倍,原廠專業服務能力更強。
分布式交易型資料庫KunDB可以在交易型OLTP的業務場景、高并發線上資料服務場景,替代Oracle/DB2,并且提升存儲計算能力、高可用能力、跨分區事務能力。
分布式分析型資料庫ArgoDB可以在批處理和OLAP、Ad hoc分析等場景,替代Oracle/DB2/TD/SAP HANA,提供海量資料分析能力,提升混合負載、實時資料分析等能力,軟硬體綜合成本效益得到10到100倍的提升。
分布式圖資料庫StellarDB可以在圖查詢、圖分析的場景替代Neo4j,提升圖資料存儲檢索能力,支援萬億頂點以上的圖存儲與毫秒級檢索性能,提供近30種分布式圖算法和10層以上深度鍊路分析能力。
搜尋引擎Scope可以在全文檢索、日志分析等場景替代ElasticSearch,提升穩定性、性能、叢集擴充性等能力。
智能分析工具Sophon可以在可視化模組化分析場景替代SAS/SPSS,獲得200+算子支撐,提升功能和性能(将本增效)。
國産化替代的10大關鍵評價名額
星環科技的一體化替代方案擁有獨一無二的優勢
在功能上,星環科技基礎軟體産品多模架構,支援關系表、文本、時空地理、圖資料、文檔、時序等在内的10種資料模型;離線資料批處理、高并發的線上資料服務、資料集市、資料倉庫、資料湖、圖存儲分析、空間資料存儲、實時資料處理、資料中台、資料治理等各類大資料業務場景一站解決。
在性能上,星環科技基礎軟體産品自研高性能分布式計算和存儲引擎,整體性能是CDP 5~25倍。整體成本效益是DB2 20倍,是TD 100倍。
在成本上,星環科技産品高度相容CDH/HDP、TD、Oracle、DB2,相容TD、Oracle、DB2的SQL和方言,提供成熟的遷移工具,有大量低成本成功遷移案例。
在安全上,星環科技基礎軟體産品提供的容器隔離、災備、通路控制、聯邦學習、隐私保護、可信計算等技術保障網絡層、加強層、治理層、流通層全方位資料安全。
在架構上,星環科技基礎軟體産品提供統一SQL引擎、統一計算引擎、統一分布式存儲管理、統一資源排程,統一内聯的架構高效搞定湖倉集一體、HTAP等複雜場景,而不是拼湊元件成散裝架構。
在開發上,星環科技基礎軟體産品提供統一SQL引擎,無需每個場景一套接口;完整支援SQL2003标準,支援PLSQL存儲過程,相容Oracle、DB2、TD等方言。
在運維上,星環科技基礎軟體産品提供開箱即用的可視化運維監控、安全管控工具,容器技術帶來極緻的安裝、更新、更新檔體驗。
在售後上,星環科技原廠有超過1100人的研發與支援團隊,超過3萬名星環科技認證的大資料工程師,專業性更強。
在國産化上,星環科技的軟體産品自主研發,通過了工信部代碼自主研發率掃描測試,滿足信創驗收要求。
在國産生态上,星環基礎軟體産品已完成與主流信創生态廠商的适配互認工作,适配長城飛騰、華為泰山、浪潮等伺服器,鲲鵬、飛騰CPU,麒麟、統信等作業系統,并有官方認證,支援基于ARM與X86伺服器伺服器混合部署并有落地案例。
星環科技有在大資料平台、資料庫産品、資料分析平台等領域有大量成功替代國外進口産品的案例。目前,星環科技的大資料基礎軟體系列産品已在十幾個行業1000+使用者應用落地。
大資料平台國産化替代平滑遷移方案
(CDH/HDP/CDP->TDH)
Cloudera(Cloudera 和Hortonworks 合并後)所有産品不再提供社群版,使用者無法擷取新的功能。2021年1月31日開始,所有Cloudera軟體都需要有效的訂閱,且訂閱費昂貴(50個節點,一年訂閱費50萬美元)。此外,CDH 6和HDP 3将是CDH和HDP的最後企業版本,企業版使用者無法繼續擷取新的功能和性能提升。至2022年3月份,CDH/HDP全部停止服務(EoS),使用者沒辦法擷取售後支援。
Transwarp Data Hub(TDH) 是星環科技自主研發的企業級一站式多模型大資料基礎平台,基于其領先的多模型統一技術架構,8種異構存儲引擎可以支援包括關系表、文本、時空地理、圖資料、文檔、時序等在内的10種資料模型。TDH能夠存儲 PB 級别的海量資料,同時能夠提供高性能的查詢搜尋、實時分析、統計分析、預測性分析等資料分析功能,被廣泛應用在離線資料批處理、高并發的線上資料服務、資料集市、資料倉庫、資料湖、圖存儲分析、空間資料存儲、實時資料處理等各類大資料業務場景,幫助企業,更全面、更便捷、更智能、更安全地運用資料,加速企業數字化轉型。
TDH基礎存儲與計算元件相容CDH/HDP,可以實作平滑遷移,大大降低企業遷移成本低。
同時,星環科技提供專業的遷移工具Transwarp Backup (TBAK),幫助使用者通過簡單的三步即可實作資料與業務的一鍵遷移,高效便捷。整個遷移過程操作簡單,配置靈活,通過3步即可完成所有的遷移工作,同時使用者可以對遷移過程進行全流程實時監控,保障整個遷移過程順利進行。
第一步,基于TBAK提供可視化的界面進行CDH和TDH的叢集配置。
第二步,建立CDH遷移方案。TDH提供服務級和表級的遷移政策,以及對源叢集,災備叢集,排程政策等進行配置。在排程政策中使用者可以根據實際情況進行配置,例如可以設定在業務空窗期的每天淩晨2點進行資料遷移。同時,使用者可以設定相應的告警政策,當遷移發生問題時可以第一時間收到告警資訊并對問題進行排查和恢複。
第三步,執行遷移任務和結果檢查。當叢集配置完成後,所有的遷移方案将在遷移方案界面進行管理和操作。使用者可以選擇相應的遷移方案進行操作,例如立即執行和設定執行政策。若點選執行遷移任務,系統會進入到自動遷移狀态,同時可以監測遷移任務執行的整體狀态資訊,并且可以對每一步的執行情況進行實時監測。當遷移發生故障時,系統會發出執行故障的告警,友善使用者對故障發生的階段進行排查和故障恢複。
此外,星環科技積累了大量的遷移成功案例,經驗豐富,可以保障整個遷移過程安全可靠。
相比于遷移到CDP或者國内封裝的Hadoop商業版,使用者遷移到星環科技TDH後,TDH多模型統一架構提供統一SQL引擎、統一計算引擎、統一分布式存儲管理、統一資源排程,統一内聯架構高效搞定湖倉集一體、HTAP等複雜場景,無需拼湊元件散裝架構。同時在技術領先性、性能、易用性、穩定性、安全性等方面得到全面的提升。此外,TDH由星環科技自主研發,通過工信部自主代碼掃描測試,完全自主可控,并且與已完成與主流信創生态廠商的适配互認工作,滿足信創驗收要求,幫助各行業使用者提升大資料系統的國産化水準。
資料庫國化産替代平滑遷移方案
(Oracle/DB2/MySQL/Teradata/
SAP HANA->TDH/
ArgoDB/KunDB)
傳統資料庫如Oracle,DB2等存在成本高、擴容難、性能受限、運維難等問題給很多企業使用者造成了困擾。
前段時間俄烏事件中,Oracle宣布暫停在俄業務,其他衆多科技公司也相繼宣布斷供俄羅斯。這些事件再次給國人敲響了警鐘,建設國産資料平台迫在眉睫。
星環科技大資料基礎平台和資料庫産品支援完整的SQL标準文法,相容Oracle、IBM DB2、Teradata方言,相容Oracle和DB2等的存儲過程,可以實作平台間的平滑遷移。同時能夠提供統一的架構,一站式幫忙使用者解決所有業務場景,從降低成本、提升效能、平台創新、應用創新等多個方面為使用者帶來收益。
星環科技建立了一整套從老牌資料庫到星環産品的平滑遷移方法論,大緻可以分為分析與設計、遷移實施和上線保障三個階段。
第一階段,分析和設計。結合使用者的現場情況和需求進行分析,并對資料流轉和整體架構設計。如将Oracle遷移到星環科技TDH,TDH支援多種資料源接入,并對于不同的接入方式提供專業的元件工具。例如星環科技Transporter支援定時批量抽取,實時流計算引擎Slipstream支援實時資料接入,可用于實時數倉等場景。
第二階段,遷移實施。遷移分為資料遷移和業務兩大部分。在資料遷移方面,星環科技可以實作三種遷移方式,1:1平移、按照大資料平台特性重新設計和遷移種選重點進行優化,使用者可以根據實際情況和自身需求進行選擇。在業務遷移方面,星環科技平台能夠提供完整的配套産品群組件,同時又能完整支援SQL标準,相容像Oracle存儲過程等特征,在保障業務的同時實作低成本、平滑遷移。
第三階段,上線保障。星環科技可以提供雙軌試運作機制,定期進行兩邊的資料核對,觀察平台的運作情況,進行後期的細緻調優等相關工作,保障遷移後能夠順利上線投産。
以金融行業為例,星環科技可替換的場景包含:風險控制、資料倉庫、報表平台、ODS、資料集市、投資交易分析回放、客戶分析和客戶畫像等等。例如風控的名額管理、實時預警、合規管理、資料次元一直是金融行業中券商最依賴于資料處理的部分,可結合市場風險、信用風險、反洗錢、投資人适當性管理等應用場景,星環科技能夠在機器學習算法和風險模型上提供解決方案。其他例如投資交易、行情預測、業務營運等場景,星環科技都能夠提供全面的支撐能力。
星環科技提供完整的資料庫平滑遷移方案能夠全方位保障資料與業務遷移,大大降低企業遷移成本和遷移風險。同時相對于傳統資料庫,星環科技大資料平台以及資料庫産品能夠在架構、性能、可擴充性、以及對雲和AI的支援等能力上獲得極大的提升,幫助企業快速實作國産化替代,建構自主可控的高性能資料平台。
圖資料庫國化産替代平滑遷移方案
(Neo4j->星環分布式圖資料庫StellarDB)
Neo4j是一款知名的開源圖資料庫,但使用者在使用過程中發現Neo4j存在一定的局限性,例如Neo4j不支援多資料庫執行個體應用,每個應用都需要單獨的伺服器部署,不便于管理。當資料量較大時,Neo4j計算能力存在瓶頸,無法滿足較高要求的計算需求。此外,Neo4j不滿足高可用的要求,且缺乏統一的資源管理和權限管理。
Transwarp StellarDB是星環科技自主研發的分布式圖資料庫,相容openCypher查詢語言,提供海量圖資料的存儲和分析能力,支援原生圖存儲結構,支援萬億邊PB級資料存儲。同時,StellarDB具備毫秒級點邊查詢能力,10+層的深度鍊路分析能力,提供近30種的圖分析算法,具備資料2D和3D展示能力。
在遷移方面,StellarDB支援MySQL、Greenplum等關系型資料庫、HDFS、Hive等大資料平台資料源接入,在4.0版本中StellarDB新增通過Kafka、Flink、Spark Streaming等方式接入流式資料源,可以覆寫所有場景資料源。同時提供專業的資料遷移工具實作資料的快速高效遷移。此外,StellarDB與Neo4j的Cypher文法高度相容,低成本、安全地實作原有業務的平滑遷移和上線。
相比Neo4j,StellarDB在存儲能力、高性能、圖算法、國産化相容、運維管理能力、知識圖譜能力、接口工具等方面表現優異。
StellarDB支援海量圖資料的存儲與檢索,可以支援至少萬億頂點以上的圖存儲,在某地電信關系圖譜場景實作了9700億邊規模的存儲和穩定運作,真正意義上将萬億級圖資料庫能力應用落地。
替換Neo4j以後,使用者可獲得更高的性能。批量資料導入性能提高2倍以上,在深度鍊路查詢能力方面,StellarDB能夠支援12度以上關聯查詢,秒級傳回,經測試驗證,6跳查詢相對于Neo4j提高了50倍以上。在圖算法性能方面,StellarDB4.0具有很大性能優勢,PageRank算法和強連通子圖算法性能提升3-6倍,LPA算法性能提升8倍以上,在十億級邊Twitter-2010資料集下,StellarDB秒級響應,Neo4j在30min内無響應結果。
相比于Neo4j,StellatDB支援分布式叢集部署,實作一站式叢集管理,同時提供企業級便捷的管理工具,實作高效的統一資源管理和權限管理。
StellarDB提供統一排程和API接口管理能力,相比之前依賴第三方排程工具,更友善高效。
在可視化能力方面,StellarDB支援2D和3D的圖可視化展示,利用可視化技術幫助使用者快速擷取資料基于關聯性的深度洞察,并且提供可視化的資料導入、叢集監控、圖查詢任務和圖計算任務監控等功能。
在國産化方面,StellarDB是星環科技自研圖資料庫,且相容國産化軟硬體,幫助企業提高國産化水準,滿足信創要求。
此外,星環科技是國内具備圖資料庫、知識圖譜平台、圖挖掘應用開發能力的企業,其全棧自研的圖技術能力可以助力企業快速挖掘圖資料價值,推動業務高效高品質發展。
搜尋産品國産化替代平滑遷移方案
(ElasticSearch->星環分布式搜尋引擎Scope)
ES在2021年宣布變更 Elasticsearch 和 Kibana 的其中一項開源許可協定Apache License 2.0,變更為雙授權許可,即 Server Side Public License (SSPL) + Elastic License,在一定程度上對許可協定加以限制。
此外,随着資料量的劇增以及性能要求的不斷提高,ES在叢集擴充性、可靠性、資料讀寫性能、以及資料恢複速度等方面越來越難以滿足使用者的需求。例如,ES單節點執行個體支援的資料量有限,當叢集超過100節點,會出現連續失聯等穩定性問題。當節點磁盤損壞時,需要采取全量資料拷貝的方式恢複資料,工作量大,TB級别可達小時級别,資料恢複速度比較慢,無法滿足客戶快速實作資料恢複的需求。
Transwarp Scope是星環科技自主研發的分布式搜尋引擎,提供PB級海量資料的互動式多元檢索分析服務,能夠實作高可靠、高擴充性的全文搜尋與靈活查詢。能夠相容常用的ES讀寫接口,比ES更強的資料一緻性和可靠性,同時比ES有更強的穩定性,實作分鐘級快速恢複單點故障。在性能方面,Scope可以毫秒級快速響應使用者的檢索需求,入庫與查詢能力有發幅度的提升。此外,Scope是星環科技自主研發的搜尋引擎,可以滿足信創驗收要求。
基于星環平滑遷移方案論,從ES到Scope的遷移過程可以分為三個階段,調研評估、方案測試和上線保障。同時星環科技支援多種資料遷移方式保障資料順利遷移,Scope支援ES接口可以實作原先ES業務的平滑遷移。
在資料遷移方面,星環科技支援三種資料遷移方案,使用部分ES遷移工具遷移資料、通過HDFS将資料遷移到Scope和使用Logstash進行資料遷移,使用者可以根據需求靈活選擇。
在業務遷移方面,Scope支援ES接口,可以實作ES的業務平滑遷移,同時針對部分使用者習慣使用SQL的方式,Scope支援SQL 2003和全文檢索SQL擴充,滿足傳統資料庫遷移到ES的需求。
相較于ES,使用者遷移到Scope之後,可以實作海量存儲能力確定百節點以上規模叢集穩定運作,強一緻性寫入能力確定讀寫資料不丢。在高可用能力方面也有非常大的提升,可以確定錯誤分鐘級重新開機恢複。此外,使用者還可獲得多程序架構,記憶體精細化控制、負載均衡、資料分區等能力。
星環科技Scope在政府、金融等行業有很多ES國産替代落地經驗,幫助使用者在海量資料檢索和分析、可擴充性、可靠性、資料恢複等能力上獲得極大的提升,幫助企業完成搜尋産品的國産化替代。
分析工具國産化平滑遷移方案
(SAS/SPSS->星環智能分析工具Sophon)
大資料分析工具可以幫助使用者更靈活、更高效地進行資料分析,挖掘資料價值。随着資料量的劇增,以及深度學習算法的不斷疊代以及創新,市面上如SAS/SPSS等分析工具越來越難以滿足企業使用者更快速、更高效、更靈活以及更低成本的需求。
例如,使用者在使用SAS過程中可能會遇到如下幾個問題:首先,其相對比較封閉,使用者無法針對單個功能授予許可證,使用成本高昂;其次,SAS自建機器學習算法有限,深度學習算法依賴外部如Python嵌入支援,使用者無法靈活地擷取新的算法;再次,SAS對分布式讀寫和計算存在局限性,對海量資料處理及大規模機器學習難以有效支撐,對實時計算更是無能為力。
此外,SAS是過程性語言,代碼量偏多,加上閉源特性,SAS社群不及開源語言活躍。随着R、Python的流行,SAS人才日漸稀缺,導緻企業難以組織高品質團隊。
星環科技Sophon Base是具備統計、機器學習、深度學習等完備算法和豐富算子的企業級分布式機器學習平台,支援從資料接入、資料處理,到模型訓練、服務部署、線上監控的一站式可視化流程。
在多年的行業積累和項目實踐上,星環科技建立了一套模型遷移方法論,整個過程被定義為8個階段——業務了解、資料了解、元模型了解、資料準備、模型遷移、評估報告、應用和檢測。星環科技SAS平滑遷移過程強調針對實際業務問題,解決客戶的業務痛點,産生實際價值。