天天看點

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

作者:資訊精彩

VaR值是銀行風險控制中最基礎的風險度量名額之一,可以用來度量在一定時間區間内,某個投資組合或資産價值可能出現的最大虧損,幫助投資者了解自己的風險承受能力,制定風險控制政策,降低投資風險。

提升VaR值計算的性能對銀行機構有重要的意義,不僅能夠幫助機構提高風險控制能力,同時還可以實作對資本配置設定和決策的優化。

某頭部銀行機構的原有系統,處理IRS VaR 業務的每日平均時長高達40分鐘,随着資料量的不斷增加和業務優化,該銀行急需對原有系統進行改造更新。經過多輪對比測試,他們最終選擇了DB-Engines 時序資料庫榜單上國内排名第一的DolphinDB,實作對系統和業務的全面更新。

IRS VaR 業務性能提升千倍

在計算VaR值的過程中,需要用到大量的曆史資料,這些資料往往可能分散在不同的系統或資料庫中;同時,VaR計算需要對多元度、大規模的資料進行數值計算,是以對多資料源的采集處理能力和複雜計算能力是提升VaR值計算性能的關鍵。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

通過DolphinDB文法對IRS VaR任務進行改造,該任務通過上遊交易系統日終檔案交換擷取當日IRS交易明細、中債估值 、曲線等相關業務資料,生成金融市場資料集市内部模型資料,并根據下遊Risk Matrix所需要的VaR報表計算邏輯生成供數檔案。根據目前生産運作情況統計,該計算任務的每日平均處理時長由原來的40分鐘降至3.5秒,提升近千倍。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

逐筆資料處理延時由300-500毫秒降至10毫秒以下

除了對 IRS VaR 業務的改造更新,DolphinDB還幫助使用者大幅降低了逐筆資料處理的延時。該銀行業務需要根據外彙交易中心資料接口技術規範,通過 API 形式擷取 CMDS 利率互換實時逐筆行情及成交資料并落庫。根據目前生産運作情況監測,該接口逐筆資料處理延遲約300-500毫秒。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

經過 DolphinDB 改造更新後,在 TPS 1000筆的實時流資料吞吐量壓力下,整體延時少于10 毫秒,CPU使用率低于20%,記憶體使用率低于60%,實時流處理隊列沒有堆積。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

用 DolphinDB 實作底層替換

在對上述兩項業務改造更新的過程中,DolphinDB在存儲、查詢方面展現出的領先性能和強大的計算和流資料實時分析能力,讓該頭部外資銀行看到了更多的可能性。為了實作更多業務面的提升和降本增效,該銀行決定選擇 DolphinDB 從底層對原有的Oracle進行替換。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

1.對原有系統的生态相容

無論是常用資料類型、文法、函數,或是用戶端等,DolphinDB 對 Oracle 的生态系統都具備非常好的支援。其中,對常用資料類型和文法的覆寫率均達到98%以上,常用函數相容性高達96%以上。相較于Oracle,DolphinDB 的文法不存在明顯差異,常用文法不需要進行改造即可使用。

此外,DolphinDB 支援多種語言的 API 和多種應用插件,對各種報表軟體與其他類型資料庫都具有良好支援。

2. 保證現存資料的順利遷移和疊代

Oracle 現存數億級别關鍵市場資料,針對這些現有資料的平遷與新業務資料疊代,該銀行在第三方服務商 Tracade 團隊的幫助下,完成了全量資料遷移。通過業務測試資料的對比,資料結構相容性為100%,資料一緻性為100%。

在這個過程中,依托 DolphinDB 靈活的資料分區控制、高覆寫的資料類型和文法相容性,資料查詢速度得到了提升,性能優化了5倍左右。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享
VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

3. 對現有 SmartBI、Birt 報表平台的相容

DolphinDB 完美相容了 SmartBI、Birt 報表平台,實作了2000多張報表的平遷,并通過 API 支援了銀行業務系統的調用。

以 SmartBI 報表平台為例,該平台原本通過 Oralce 資料庫生成銀行業務所需報表,而替換成 DolphinDB 後,僅通過切換資料源,即可保障相關系統業務報表的正常使用,實作報表的批量平遷。

VaR值計算性能提升千倍-某頭部外資銀行使用DolphinDB執行個體分享

總結

本案例中,該銀行面臨日益增長的資料量和不斷更新的資料安全要求,并且需要支撐低延時的報表分析業務,因而傳統老牌資料庫 Oracle 已逐漸難以滿足需求。在 Tracade 的幫助下,該銀行用國産自研産品 DolphinDB 替換了 Oracle。

作為一個基于資料庫管理系統,支援資料分析、流資料處理的低延時平台,DolphinDB 不僅幫助使用者快速實作了全量資料的平遷和疊代,還顯著提升了原有業務的效率:

·IRS VaR 業務的每日平均處理時長由40分鐘降至3.5秒,提升近千倍。

·CMDS 實時資料接口延時由300-500毫秒降至10毫秒以下

·整體報表查詢速度提升近5倍

可以說,該銀行從 Oracle 到 DolphinDB 的實踐,不僅是一次成功的國産替換,更是從存儲、查詢到實時流資料處理性能的全方位更新。

繼續閱讀