導讀
本文将通過淺顯易懂的例子，深入淺出的向您介紹大資料在信用風險，市場風險，反洗錢等風險管理領域，以及财務管理等其他金融領域的應用。
1概述
就如大家通過我們的文摘閱讀了解到的大資料的知識， 這個世界的資料正以前所未有的速度、類型以及體量進行着爆炸式的增長。現如今的技術也幾乎可實作即時而有效的實時分析。
然而，當大資料已經被許多領域接受時，風險控制仍未開始利用它的力量。事實上，大數風險控制方面也有着革命性的潛力。它能提高風險模型的預測能力及穩定性，指數式的改善系統響應時間及效用，提供更廣泛的風險覆寫，并且能顯著的節約成本。在這個正在變得越來越複雜并且需求也越來越多的社會中，擷取、處理以及利用大資料的能力将決定風險管理的勝敗！
大資料在風險管理中的優勢：1.提高風險模型的預測能力及穩定性2.實時風險智能将更廣泛的應用，實時風險監控将有可能實作，而噪聲信号比率卻可以被降低。3.基于重點領域的有效資訊作出的決策的能力将會增強。4.顯著的節約風險管理的成本
世界上超過90%的資料在最近2年内産生，思維超前的産業及機構已經開始挖掘并利用這個寶藏。大資料被定義為可以組織和分析的‘海量’、‘高增長率’和‘多樣化’的資訊資産，并被認為是一個真正的遊戲規則改變者。這個它對風險管理而言又意味着什麼呢？簡而言之，大資料代表着風險控制在這個領域點的未來。為什麼呢？因為大資料科技可以幫助風控團隊獲得更加精确、并在近乎實時的大量風控資料！在金融服務這個行業内，他們能讓資産管理者、銀行以及保險公司積極的預測到潛在的風險，更快并更有效率的做出反應，并且在成千上萬的風險變量出現的時候做出穩健的決策。 當大資料在金融服務行業内應用于風險管理時， 資料的“高真實性”以及“高價值”将會得到充分展現，而這些資料也将會變得越來越精确以及可靠。 于此同時，有效的風險控制模型可能給金融機構帶來以十億計的損失，是以通過降低風險的方式可以顯著的節約成本。大資料技術将改變如今世界的風險管理。 請確定你将參與到其中。
2“噪音”還是“資訊”？
“在新世界的風險管理中，時間至關重要，如果你能更快地應對風險，你就有了一個競争優勢”
具有靜态結構和有限互動路徑的資料倉庫時代已經過去。取而代之的是具有可得性的複雜多樣的來源，包括社交媒體、電子郵件、傳感器資料、商業應用、檔案和檔案。同時，取得和分析資料的速度亟需嶄新的方法。現在，我們正步入資料湖時代。
資料湖的方法很簡單：你不必在孤立的指令性存儲中組織資料，而是将不同原始格式的所有類型的資料儲存到一起。資料湖既有結構化資料（載于關系型資料庫和電子表格中）， 也有非結構化資料（如社交媒體，電子郵件和文本文檔），而它的運用将更加快速靈活。基于上面提到的那些實時資訊，這個系統允許使用者進行點對點查詢和跨資料源的導航，進而做出分析決策。
想象一下，你要對一個新客戶進行信用檢查，幾秒鐘之内，資料湖就會允通過一系列信用資料（包括客戶的信用報告，消費習慣，社交媒體概況，以及信用卡還款率等）生成一個風險概況。
擔心交易大廳的欺詐嗎？比起手動地、辛苦地跟蹤交易人員行動，資料湖允許獲得行動的即時快照，包括從聊天室的站點、行動電話、甚至門刷卡中獲得的資訊。可疑的活動一旦發生，它就能被識别出來并及時停止，避免了遭到罰款，也避免了毀壞你銀行的聲譽。
大資料意味着大承諾，但它能夠不辜負大承諾嗎？現在下結論，為時尚早。随着每日産生大量資料，“噪音”（很有可能）增加得比“資訊”更快。因為，有這麼多假設需要進行測試，有這麼多資料等待挖掘，但是客觀真理的數量卻是相對穩定的。要确定有用的資訊，需要有針對性的政策和适當的技術，或者是針對隐晦的洞察力和價值的體積龐大的威脅資料。
3大資料應用-遊戲規則的改變者
風險管理面臨新的機遇與挑戰。為了應對危機，監管機構要求更為詳細的資料以及日益複雜的報告。銀行預期将在所有資産類别中對各種場景進行定期而全面的自下而上的壓力測試。近來，廣為報道的“流氓交易員”和洗錢醜聞，促使行業進一步要求加強風險控制和模組化。 大資料技術為應對這些挑戰提供了新的機遇。廣泛、全面和近乎實時的資料有能力提升風險監控（同時降低信噪比），風險覆寫率，以及風險模型的穩定性和預測能力。在一些關鍵領域，特别是操作風險和合規風險，大資料技術将使得模型的發展能夠支援風險人員的日常決策。 這些技術能夠快速處理大規模資料，同時也能夠适應設定在交易，交易對手和投資水準上的情景壓力測試的新要求。大資料所提供的絕大多數好處和挑戰，都來自于其龐大的數量和多樣性（圖 1）。然而，不同的風險領域确是以不同的途徑從大資料技術中受益。無論一個機構是要求資料有更大容量，更具多樣性，更加快速，亦或是更具準确性，大資料都可以有針對性地滿足其特殊需求，并且在戰略上應用這些資料加強不同的風險領域。
4信用風險-更好的預測能力
經濟危機爆發以後，金融機構希望能夠深入地了解他們的客戶。越來越多富有遠見的銀行在信用風險領域，利用大資料來發展更穩健的預測名額。新的資料來源，包括社交媒體和營銷資料庫。它們可以用來擷取被更為清晰的客戶行為分析。這些資訊來源能揭示一些令人吃驚的消息：一場代價很高的離婚，一次昂貴的購物，一個賭博的問題。
從資料湖中得到的資訊，加上傳統資料源，包括金融、社會人口、内部支付和外部損失資料，集中在一起可以産生一個非常強大而全面的風險名額。運用大資料技術，我們可以從客戶現有的行為來判斷出風險預警信号，并及時采取行動，而不用等到稽核貸款客戶的财務報表才發現還款問題。
5反洗錢-實時可應對的洞察
最近幾次醜聞之後，業界對待洗錢和恐怖主義融資到了零容忍的地步。一經發現，罰款極其嚴厲。最近一家法國銀行因為與被美國制裁的國家做交易，被處以89億美元的巨額罰款，創下曆史記錄。
洗錢案件的高成本迫使銀行尋求新的方法，來解決目前反洗錢風險管理中存在的嚴重缺陷。傳統的反洗錢方法還停留在依靠規則和描述性分析來處理結構化資料。該系統有明顯的局限：缺乏自動算法，在大量資料中檢測資訊時，需要費力的關鍵字搜尋以及人工篩選報告。舉個例子，近期我們觀察到這樣一個案例，一家大型金融機構的支付提示裡出現“cbi”這個縮寫時，可能是指愛爾蘭央行（central bank of ireland），意大利央行（central bank of italy）或伊朗央行（central bank of iran）（編者按：其中隻有伊朗在國際制裁的名單裡）。而所有出現“cbi”的交易記錄都會被發送到反洗錢部門進行人工審查。這是一項耗費資源又容易出錯的任務。
大資料分析可以改進現有的反洗錢操作流程。該方法對于結構化資料能進行進階統計分析，而對于非結構化資料，也能做先進可視化處理和統計文本挖掘。這些方法可以提供一種迅速繪制出交易和賬戶之間隐藏着的聯系、并發現潛在可疑交易模式的手段。進階分析能夠生成實時可應對的洞察，阻止潛在的洗錢風險，同時允許資金和人力援助轉移至經濟困難需要幫助的地區。大資料技術可以識别事故，幫助繪制更廣泛的圖像，讓銀行在為時已晚之前拉響警報。
6市場風險/交信用風險-速度的需求
交易對手信用風險量化變得越來越複雜。衍生工具不再是簡單的每條交易法則的淨折現值 - 而是銀行自身的信貸品質（債務估值調整 - dva ） ，它的交易對手方（信用估值調整 - cva）和無擔保資金（資金估值調整 - fva ）都需要作為考慮因素。這些計算通常必須在不同的定價資料（例如應用“風險中性” cva ）下進行，并且生成各種不同頻率的報告 – 月度報告，每周報告，每日報告，當日盤中報告。
計算這些元件是巨大的且資料密集的工作。為了在投資組合層面計算cva，大銀行通常會執行1000 至 5000組蒙特卡洛場景拟合。不過，要完全模拟結構性金融産品的所有衍生品工具的潛在風險，銀行可能需要運作大約100,000組蒙特卡洛場景拟合。傳統網絡技術根本無法以足夠快的速度應付如此大的運算，是以常常由于處理過載而失敗。
然而，記憶體圖形處理單元(gpu) 能在日益增加的高負載資料市場風險領域提供巨大的利益。源自遊戲産業中記憶體/ gpu技術，允許系統以難以置信的高速度處理大量資料。在記憶體中執行帶來了相對于傳統方法關鍵優勢：非常迅速的資料處理速度，比如處理增量假設的統計資料是可能僅需幾秒鐘。總體而言，這種解決方案可以很大的提高資産負債表的優化和抵押品管理，包括對新的客戶交易和市場價格/波動變化提供實時風險模拟。
在市場風險和交易對手信用風險管理方面，數量和速度是重要的推動因素。簡單地說，擁有更強蒙特卡洛分析能力的銀行将能夠把金融衍生品交易的定價提高到比競争對手更好的水準。
“新的高性能計算和記憶體技術正在将我們的市場風險管理提高到一個新的水準。無論從計算能力以及對成本的角度來看技術已經不是一個限制因素了。市場和信用風險估值可以通過使用這些新技術來模拟在更多的細節。它甚至允許使用直到近來還被認為是不可能或過于昂貴的模型和模拟運算。” ---馬克.範.巴倫，ing銀行全球mrmb交易主管
7交易監控和欺詐管理
欺詐讓銀行損失巨大。備受矚目的流氓交易醜聞,比如說: 近年來kweku adaboli和jerome kerviel的案子在新聞報道中搶足了風頭, 罰金天價。這些案件給整個金融體系造成嚴重破壞。nick leeson的欺詐投機交易造成整個銀行業災難性崩潰。被 全球外彙調查後,最近有6家銀行被罰43億美元，這反映出加強對同業拆借利率的管控是多麽的失敗！
傳統方法在識别欺詐方面緩慢、冗長、麻煩。傳統營運風險團隊逮住流氓交易者的方法是人為地追蹤那些操縱崗位、盈虧的交易商和營運人員的舉動。然而，現在欺詐者往往使用一系列的技術和政策來規避 ，比如最近fx 醜聞中的私人聊天室。新資料湖技術的優勢在于可以從任何可以想得到的管道收集資料，不僅包括各種交易系統、電子郵件、社交媒體和移動資料，還包括各種人力資源系統、出入門刷卡裝置和計算機登入日志檔案等。是以，進行全面綜合的資料分析，就能夠在損失達到災難級前就監測到欺詐行為。
“在營運風險方面，大資料的優勢在于能夠整合來源于舊平台的海量資訊，進而得出一個高度可行的解決方案。例如：在客戶和我們的互動中，我們能夠權衡 各種大資料解決方案，獲得對各個平台的登入控制管理的更好見解，進而有助于我們確定全過程客戶交易的安全和保密。”
8過去、未來與現在
目前，大資料不僅能幫助我們改善反應與預測能力，還為解決風險提供了令人興奮的新可能性。認知技術的最新發展将能讓大資料技術能實時地作出合理明智的決定，保護易受沖擊的市場。
例如，twitter與華爾街的交織導緻了一些災難性的事件的發生。去年，一則來自美聯社的錯誤推文稱——白宮已經被爆炸襲擊，這讓市場直線下跌。ibm的超級電腦watson(華生)的識别程式可以用來解決這類的風險。“華生”具有分析像社交媒體源這樣的非結構資料的認知能力，能迅速并且合理地對風險進行評估。在這個案例中，來自twitter 的報道應該由提示觸發器來告訴使用者要警惕閱讀此條消息，而不是立刻在市場上帶來一系列災難性的影響。
新技術的發展令人生畏。然而大資料技術已經被證明具有安全性、有效性、增值性， 并且在以指數級的速度快速發展成為很多行業（從線上購物到醫藥研究）的标準規程。在不久的将來，我們期待銀行在繼續使用它們已經存在的資料庫和資料倉庫的同時，使用大資料開源軟體，hadoop生态系統等，通過映射中繼資料、聚合結果，顯著的增加現有系統、資料庫、資料集市的價值。
hadoop可以作為一個一站式的企業資料平台（跨公司的共享資料），用以建立資料湖，通過“中間件”連接配接器與資料倉庫相連，使資料以其原始形式保留。
這種靈活性使得我們令人驚訝地發現：替代預定義的提問，資料湖允許資料指導使用者，觀測各種資料形式的模式和關系。資料湖通過觀察不同類别資料所呈現出的模式和關聯關系來指導使用者，而非預定義的提問。當充分發揮它的潛力大資料可以提供在開始時并不存在的問題的答案。
原文釋出時間為：2015-07-01
本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号