天天看點

在全面到來的AI浪潮中 重新讀懂資料價值

作者:中關村線上

在智能時代,資料的價值變得前所未有的重要。以ChatGPT為代表的生成式AI讓人們看到了AI技術的颠覆性,一時間,大模型、加速計算、資料要素、資料隐私等概念風起雲湧,此時,對資料進行有效的采集、處理、分析、治理,成為企業實作商業成功的關鍵。每一年,Gartner都會對市場熱門的技術趨勢進行深入研究,從中找到值得關注和投資的方向,為企業主提供發展參考。5月18日,Gartner釋出了2023年十大資料和分析(D&A)趨勢,包括資料即業務、資料價值規模化、以人為中心建立資料分析平台三個主題。

2023年十大資料和分析趨勢

Gartner研究總監孫鑫表示:“我們發現,如果隻是把資料分析能力作為一種IT能力做運維,往往難以發揮讓業務比較大的價值。但是,如果把資料能力變成一種業務能力進行拓展,就會衍生出一些獨立的、更有意思的商業模式,是以,‘資料即業務’已經發展為一種全球的趨勢,吸引了很多中國企業關注。”例如,有時資料分析會作為一種産品進行銷售,更多的業務人員也會承擔一些資料分析或資料管理的職責。

孫鑫認為,企業要讓資料分析與業務價值産生更清晰的聯系,以此來進行更有針對性的投入,避免重複勞動。對此,Gartner推薦企業使用“業務價值流工具”進行資料的分析和管理,可以自上而下的幫助企業了解重要的業務節點和流程,輔助管理者做出決策,實作應有的價值。随着更多的創新發生在雲端,圍繞AI和資料分析的擴充性、相容性、持續性和成本被頻繁提及,由此也引發了有關資料編織和資料網格的熱議,企業希望可以提升資料的業務場景化能力。

Gartner對資料網格(Data Mesh)的定義是以業務主導的方式管理資料,用于定義、傳遞、維護、管理資料産品,讓資料發揮更大的價值。如果想實施好資料網格,需要在業務端配備資料産品經理的崗位,輔助做一些自服務分析,根據不同層級設定互相關聯的治理模式。資料編織(Data Fabric)可以視為較為新型的資料管理設計模式,能夠擷取到靈活可複用、且被AI增強的資料內建管道,其中,會涉及知識圖譜等技術,去更好地分析和了解中繼資料,提升基于使用者的資料服務體驗。

基于使用者資料消費行為的分析,并在此基礎之上進行推薦,是資料編織要解決的主要問題,讓相關的資料找到相應的人。根據企業所處的數字化階段和能力不同,Gartner提供了兩種資料編織的設計路徑——最小可用資料編制的設計和完整版的資料編制設計,企業可以據此進行資料優化和調整。招商銀行建立了新一代資料目錄,希望進一步優化資料分類體系,在該目錄中進行的搜尋、檢查、請求等操作會被記錄,這些操作型的中繼資料會被回報到資料分類體系中,結合機器學習等技術進行自主演進,從多元度了解不同使用者的實際需求。資料編織可以幫助企業使用者實作快速的自服務,幫助資料管理團隊實作更高效的資料生産力,大幅縮短資料需求響應時間,幫助企業主體加速投資回報。

借助高度可組合的資料分析生态,資料分析能力可以和微服務等技術整合,以子產品化的方式快速落地到業務場景中。企業對于分析平台的可組合性較為關注,不同崗位的人員會在不用階段根據不同需求選擇比對的技術路徑,包括資料可視化、自動資料洞察、資料故事、資料叙事、自然語言驅動的分析、資料準備和報表會滿足不同的業務需求,由企業按需來進行定制化的組合,而底層則是通過合作能力、名額平台/中台、治理能力、資料科學整合能力、資料目錄能力,以及對資料源的連接配接來提供基礎支撐。

在孫鑫看來,使用商業智能和資料科學平台的使用者愈發多元化,既有業務分析師,也有資料分析的開發者、資料科學家,還有被增強過的資料消費者,“面對更廣闊的使用者,也要有更靈活的使用資料分析産品的架構,去建立更靈活的分析體驗,這也是今年我們在‘魔力四象限’評估時比較重要的點。”除此之外,還會有一些新的産品形态來輔助建設業務名額。例如,名額平台/名額中台可以利用虛拟層管理不同的資料源,分析目錄可以管理不同廠商的報表,帶來統一的使用體驗,這些目錄可以被進行評級和打分,便于各方選擇使用,同時,很多企業也在對外輸出資料分析能力,使得資料的生産者和消費者互相轉換,形成了對資料分析能力的釋出-組合-再創新的生态循環。

在全面到來的AI浪潮中 重新讀懂資料價值

分析目錄

如今,AI已經是擺在企業面前的一道必答題。Gartner将Emergent AI視為今年的科技趨勢之一,AI技術已經能夠以更少量的數量達到更高的複雜度,預計到2026年,通過生成式AI驅動的資料分析能力,将吸引20%的大型企業資料和分析的支出,以支援這些企業對于自動化閉環資料分析結果的需求。此時,企業要學會主動迎接AI的浪潮,可以借助NLP等技術實作“決策智能”,完成從資料分析到業務行為的閉環。

孫鑫認為,生成式AI實作了嵌入式的增強體驗,可以幫助使用者完成更進階的資料分析,大幅降低了使用門檻。Gartner建議企業可以學習掌握提示工程(Prompt Engineering),通過全新的互動界面進行驗證,從輸入的角度核實、輸出的角度了解并拓展大語言模型,輔以專門的工程師開發和優化由AI生成的文本。在招商銀行内部,已經在使用聊天軟體進行資料分析的相關讨論,提升資料使用效率。未來,資料科學家會更加關注大語言模型的調參,使其能夠運用到千差萬别的業務場景中。

在全面到來的AI浪潮中 重新讀懂資料價值

AI戰略的實施往往“事與願違”

盡管AI可以為企業帶來更低的成本和更好的決策,但是像生成式AI這樣的新技術也會帶來不少風險,例如所學習的資料存在偏見和錯誤,企業既要保證資料來源的多樣性,也要避免遭遇一些瑕疵,同時,如果錯誤的資訊沒有經過适當的監管和審查,也會造成額外的損失。企業不能過度依賴AI提供的結果,要建立一套責任機制進行資料治理,確定生成式AI的使用是可靠的,遵守當地的隐私和安全法規。錯誤的資訊、認知偏見,以及資料版權等問題,使得人工審查有着充分的必要性。

談及生成式AI的未來走向,孫鑫給出了進一步解讀,涉及架構、模型和營運。首先,英偉達在加速計算領域為AI算力奠定了重要基礎,不過考慮到産品供應等問題,AWS、GCP等雲廠商同樣具有很大的發展空間,一些基礎設施供應商也會內建預訓練模型來提升硬體的價值。此外,大模型和“Fine-Tuning”模型會越來越多,Fine-Tuning模型的比對度更高,使用相對較小、貼近業務場景的資料集即可滿足要求,成本會随之降低,開源技術也會發揮更多的作用。同時,基于大模型建構的具有行業屬性的特定模型将愈發普及。對于技術供應商來說,AI的安全治理、成本效益等能力将是差異化或是護城河的展現。營運方面,“提示工程”的市集可以從多方面完善大模型的體驗,“矢量資料庫”則能夠讓生成式AI更了解企業所需,再加上Fine-Tuning模型和API管理工具,就能讓企業在使用AI技術時更加得心應手。

“最後,我還是要強調一下,對于‘負責任人工智能工具’的投入是非常重要的。在中國,可能這一塊相對來講還比較空白一些,我們看到這種負責任的人工智能工具将在營運側發揮關鍵的作用,甚至可以提供一些‘紅隊測試’、可解釋性或者内容的管控,以減少我們基于人工智能用例的有害影響。“孫鑫說。

(8201769)

繼續閱讀