未來幾年，圖計算或許是一條很好的賽道

嘉賓 | 潘臻軒

編輯 | 忠良

在網際網路時代，圖資料越來越多地呈現出海量和動态等特性，靜态圖計算的模型和方法難以應對資料處理的需求。而流式圖計算能基于實時變化的資料，流式地建構動态圖資料關系，并基于動态變化的圖資料之上實時地進行分析、計算和挖掘，是圖計算主流技術分支。

InfoQ 作為技術媒體對技術趨勢保持着格外的關注，本次我們采訪了螞蟻流式圖計算團隊負責人潘臻軒。流式圖計算是螞蟻大規模圖計算系統 TuGraph 的重要組成部分，可以有效地挖掘資料關系變化的趨勢和異動，承擔着重要的近線異步圖計算等功能。潘臻軒為我們分享了螞蟻流式圖計算的應用經驗，以及圖計算在未來的發展趨勢。

“在 2017 年左右，那個時候對圖概念有了解的人并不多，即使有，也是僅限了解資料庫（比如業界的 Neo4j）和離線圖計算系統（Google 的 Pregel 等），當時，在工業界，根本沒有看到成熟的流式圖計算系統，也沒用看到典型的應用案例，我們隻能摸着石頭過河。”

在與 InfoQ 聊到流圖計算的時候，潘臻軒表示，在那個時候，流圖計算項目僅僅算是内部探索項目，具體能否跑通，無人知曉。“作為這個項目的探路人，我也僅僅知道原理上可行，實際是否跑得通，還需要打問号”。

最初始階段，流圖計算團隊僅僅隻有兩名成員。“我自己必須相信這個事情，才能吸引更多的人加入進來”，當談到最難的事的時候，潘臻軒如此說道。據他回憶，那個時候的他們，一方面需要探索系統應該如何去設計和建構，另外一方面需要找到典型的應用案例，證明流式實時圖的業務價值，進而才能讓更多的人相信該方向的價值。

嘗試、探索與驗證

踏過 2018 年，探索時間已經有一年多，潘臻軒也找到了可以使用流圖計算的場景。“那個時候，我們團隊主要去尋找适合流圖的應用場景，同時也貼合業務場景打造核心引擎的能力。在螞蟻内部信用風控等小的場景也做了一些落地嘗試。”潘臻軒這樣說道。

直到 2018 年雙十一，流圖計算才真正證明了自己的價值。在潘臻軒的一篇文章中曾提到，流圖計算做到了在雙十一大促極端流量高峰情況下，動态識别超過六度關系鍊（隐蔽性強）的異常資金風險，這一風控能力在業界也非常領先。

這個時候，流圖計算又出現了另外兩個問題，那就是如何讓使用者更多更好地用起來？首先是流式鍊路相對于離線圖計算整體的鍊路會複雜很多，相對于圖資料庫又會出現可互動性不強等問題，往往是業務方想用，但由于門檻較高而無法真正用起來。其次，當時流式圖計算團隊隻有 3 位同學，由于系統完全是自主研發，是以核心上也有很多功能和特性需要完善。

當聊到如何解決門檻問題和人力問題的時候，潘臻軒坦言：“比較好的解決方案是讓大家相信流式圖計算本身的價值，一方面通過雙十一标杆場景帶來的業務場景做驅動，讓大家感覺到，采用流式圖計算可以獲得非常好的業務效果。另一方面和中台更好地關聯，通過支援特定的中台（比如知識圖譜）快速覆寫一類場景使用者，進而形成規模增長的飛輪，讓更多的業務用起流式圖計算。”

的确，隻有不斷驗證流圖計算的價值，才能應對接踵而至的挑戰。當解決了這些問題之後，螞蟻流圖計算踏入了第三個階段，大約在 2020 年左右，随着圖在螞蟻應用的越來越廣，體系化的建設給流圖計算團隊帶來了很大的挑戰。于是他們将流圖的能力從兩邊延伸提供了離線上一體化的能力，使得使用者可以基于一套 DSL 支援基于離線上的資料進行實驗。

就這樣，流式圖計算系統逐漸成為了螞蟻圖計算系統裡面的核心成員之一。根據潘臻軒介紹，目前的圖計算引擎廣泛應用到螞蟻的安全風控、信貸風控、知識圖譜、資料血緣、資金分析、流量歸因分析以及會員關系等場景。

進入 2022 年之後，螞蟻圖計算團隊開始了新的探索與創新，例如探索大規模的分布式圖機器學習系統、下一代圖資料庫以及線上圖計算系統的前沿能力探索，同時也将成熟的圖計算技術對外開放，應用于金融、能源、政務等領域。目前 GeaFlow 團隊也在積極的和外部交流溝通，希望将流式圖計算的能力開放到外部的場景，進而讓業界更多更好的使用圖計算的能力，發揮圖計算的價值。

創新與更新

這幾年的更新主要包含圍繞流式圖體系化的一系列工作，同時也繼續深化系統核心。在體系化方面，圍繞流式圖計算引擎，螞蟻圖計算團隊建構了從互動式離線圖探索到基于曆史資料長周期離線圖仿真，再到流式近線圖計算、動态時序圖計算等一套完整的流式圖計算體系。在系統核心方面，他們建構了計算和存儲分離，支援超大規模圖狀态管理和存儲。同時也圍繞圖特有的熱點 / 大點做了相關的深度優化。

流式圖計算在螞蟻基礎設施技術的應用越來越廣，目前, 螞蟻的大規模圖計算系統持續地不斷突破，已經成為螞蟻風控的核心基礎設施之一，流式圖計算是其中的重要組成部分。

流式圖計算在螞蟻集團主要承擔以下兩方面的職責。首先，随着業務對圖的應用越來越廣泛以及對圖的了解越來越深刻，簡單圖關系的線上查詢并不能完全滿足業務場景的訴求，是以業務迫切地需要支援複雜圖查詢 / 圖計算的線上和實時處理能力。由于線上場景對延遲的要求非常高，是以目前業務會基于流式圖計算引擎建構複雜圖查詢 / 圖計算的預處理，進而将計算好的資料提前寫到 KV 存儲中，進而提供極低延遲的線上查詢能力。基于這樣的能力，螞蟻風控系統目前更好地組合了線上圖資料庫提供低延遲簡單圖查詢能力，以及流式圖計算提供複雜圖查詢 / 計算的實時圖計算能力，進而進一步在螞蟻内部讓業務更好地使用圖計算系統。

其次，随着資料化和智能化的進一步演進，流式圖引擎也更多地和圖的智能化結合，比如和螞蟻的圖學習團隊合作，建構動态圖的離線訓練和實時圖推理能力。其中流式圖引擎提供離線上一體圖計算能力，既可以支援基于曆史資料進行仿真回溯驗證，也支援流式資料的實時圖處理能力。同時目前流式圖計算引擎還支援一套 DSL，進而打通使用者的離線訓練和流式上線兩個階段，極大地提升了研發的效能和使用體驗。

未來幾年，賽道可期

當我們談到，流式圖計算引擎 GeaFlow 的本質以及未來發展時，潘臻軒這樣說道：“GeaFlow 從技術上說是圖計算和流式計算融合交叉的計算技術，從計算語義和計算模型上，它更貼近于圖計算的語義和模型。從業務的使用角度來看，它更偏向流式計算，也會用到流式計算的相關技術。流式圖計算本質上還是一種增量計算，但是從計算語義和資料模型的角度是以圖為中心的視角。”

同時潘臻軒還表示，“我個人認為未來圖計算領域會越來越成熟并且越來越标準化。在資料體系方面，未來圖計算會像通用大資料體系一樣，越來越完備。比如圍繞實時的圖資料，可以建構一整體實時圖數倉的體系，基于這樣一套實時圖數倉的體系，可以建構圖資料實時的資料處理、實時圖資料通路。既可以提升圖資料的鮮活性，還可以更大的發揮圖資料的價值。同時，在算力上，我相信圖計算的能力也會越來越強，更多的業務場景會采用圖資料結構，進而進一步深度的挖掘資料的價值，并且随着算力的增強，也會有越來越來的圖計算場景從離線走向實時，從實時走向線上。”

就在去年，人民日報曾發文稱：在大陸發展高性能圖計算，具備良好的技術基礎和現實條件。一方面，人們如今的日常生活離不開高性能計算。天氣預報、新藥研發、新型材料、安全系數更高的汽車、高鐵和飛機等都需要高性能計算作支撐。另一方面，由于圖的優秀表達能力、可視化效果和堅實的數學基礎，圖計算也已在國家安全、金融安全等方面有很高的價值。有研究報告顯示，到 2023 年圖技術将促進全球 30% 企業的快速決策場景化，圖技術應用的年增長率超過 100%。

以螞蟻集團為例，圖計算已被成熟應用于螞蟻集團的支付和數字金融場景，為風控、反洗錢、反套現和社交網絡應用提供了穩定的決策支援能力。其中，支撐支付寶的重要風險識别能力提升了近 100 倍，風險審理分析效率提升 90%。

數字化浪潮越卷越大，企業的線上資料也越來越多。通過資料進行決策一定會涉及到資料化的分析和營運，而圖作為一個高維的資料結構，可以更好地挖掘資料的關聯特性，為企業提供精準高效的決策。圖計算賽道未來的發展，值得期待。

活動推薦

在 6 月 19 日和 20 日，ArchSummit 全球架構師峰會即将落地上海，潘臻軒講師也會親臨現場與大家交流，另外在此峰會上，我們一共設定了十五個專題，其中包含大資料與人工智能、中間件開發實戰、移動端開發實踐、微服務架構設計等等，詳細專題内容可通過下方 Banner 掃碼了解，期待和你一起現場交流。

點個在看少個 bug