近日，中國人民銀行成立金融科技（fintech）委員會，旨在加強金融科技工作的研究規劃和統籌協調。随着金融科技在業務層面滲透率的逐漸提升，大資料技術在金融機構中的應用日益廣闊，對于商業銀行如何在金融科技時代使用、提取、管理好大資料的讨論也更加深入。
一、大資料技術在銀行業中應用的前景
20世紀以來，資訊技術在金融業中的大量廣泛使用，使其累積了體量龐大的資料和資訊，金融機構當中存儲着數以萬計的資料，這種情況迫使金融機構必須要考慮如何将這些資料轉換為可以創造實際價值的内容，為企業盡可能多的創造利潤。然而，這些資料并不是為了分析目的而專門生産，僅僅是随商業活動産生，盡管數量龐大，但難于直接産生價值，是以需要借助大資料挖掘技術進行深度挖掘，使之成為有價值的資訊。随着資料收集能力逐漸提高，金融企業将形成時間連續、動态變化的面闆資料，其中不僅包括使用者的交易資料，也包括使用者的行為資料。簡單的資料搜集和歸并對金融企業來說不足以有效利用這些資料，隻有對其進行深度挖掘，才可以發現其中的隐性資訊并利用其為客戶提供更加優質的金融産品和服務。如何對多源資料實作快速高效的海量資料處理？如何應對網際網路金融産生的碎片化資料、快速響應需求引發的風險問題？如何充分利用資料分析、挖掘來擷取更大的經濟效益？是金融企業在進行大資料分析時面對的幾大挑戰。
網際網路的發展催生了大資料技術的誕生。在21世紀初，全球網頁内容大規模增長，網頁内容每日增長速度超百萬。截止2001年末，全世界網頁個數達50億個[1]，網際網路使用者檢索有用資訊的難度越來越大。谷歌（google）等擁有較高搜尋引擎技術的公司開始建立搜尋系統，其内容覆寫數十億網頁，提高了人們對網際網路内容的使用效率，大資料技術由此誕生。由于網頁内容當中需要處理的資料包含大量的非結構化内容，傳統的搜尋技術無法完成檢索。谷歌公司提出了以“分布式”為基礎的存儲和檢索系統，包括分布式檔案、分布式并行計算和分布式資料庫等系統，實作了非結構化資料的檢索，并奠定了大資料技術的基礎。伴随着網際網路産業的崛起，這種創新的海量資料處理技術在電子商務、定向廣告、智能推薦、社交網絡等方面得到應用，取得巨大的商業成功。這啟發全社會開始重新審視資料的巨大價值，金融、電信等擁有大量資料的行業也開始嘗試這種新的理念和技術，取得初步成效。與此同時，業界也在不斷對谷歌提出的技術體系進行擴充，使之能在更多的場景下使用。2011 年，麥肯錫、世界經濟論壇等知名機構對這種資料驅動的創新進行了研究總結，随即興起了一股大資料熱潮。
雖然大資料已經成為全社會熱議的話題，但到目前為止，“大資料”尚無公認的統一定義。筆者認為，認識大資料，要把握“資源、技術、應用”三個層次。大資料是具有體量大、結構多樣、時效強等特征的資料；處理大資料需采用新型計算架構和智能算法等新技術；大資料的應用強調以新的理念應用于輔助決策、發現新的知識，更強調線上閉環的業務流程優化。是以說，大資料不僅“大”，而且“新”，是新資源、新工具和新應用的綜合體。
現代金融機構當中，資料資産成為其差別于傳統金融機構的最大生産要素之一。對于資料資産的管理、運用、挖掘，成為現代銀行業加快創新、增強管理能力等業務的最重要工作。大資料挖掘分析決策的主要流程見下圖1。銀行業海量的資料内容，需要從“資料清理/整合——>資料倉庫——>資料選擇——>資料挖掘——>模式評價——>知識”多次的循環反複，才有可能達到預期的效果。
銀行業監管機構對于資料管理和監測的要求也在不斷提高，金融監管部門在多個指導檔案中指出[2]“加快銀行資訊資源的集中，實作資料視圖在全行範圍的共享，充分利用資料倉庫和資料挖掘技術，實作資産負債管理、财務績效管理、風險管理和客戶關系管理等主題應用，建立面向主題、面向市場、面向決策、滿足内部管理及外部政策要求的銀行管理資訊系統建設”。“大中型銀行要把資料治理作為重要的制度性建設與基礎性工作，加強組織保障、制度保障與流程保障，有序推進、重點強化；統一資料标準，提高資料品質，深化資料應用，有效支撐銀行業務發展，有效提升銀行管理水準[3]。” “十二五”末期，大部分銀行均開始着力解決資料品質較差的問題，開始加強資料管理、管控，提高資料資訊品質，采用資料挖掘和大資料技術深層利用、提煉資料以提升經營管控效能。
大資料技術的産生本身就有其強烈的應用需求背景，它從一開始就是面向應用的。資料挖掘技術在決策支援方面有着廣泛的市場前景，并可用于業務管理方應用，是實作crm和bi的重要技術手段之一。具體涉及商業化應用的有資料挖掘技術中的資料庫營銷（database marketing）、客戶群體劃分（customersegmentation& classification）、背景分析（profileanalysis）、交叉銷售（cross-selling）等市場分析行為，以及客戶流失分析(churnanalysis)、客戶信用評分(credit scoring)、甄别(fraud detection)等應用手段。目前，諸多商業領域（銀行、保險、證券、超級市場、電信等）均有大資料技術成功應用的案例。在金融機構中，由于其除了提供儲蓄、投資和信用卡業務之外，保險、股票、基金投資等也是其重要業務。是以，大資料技術和資料挖掘技術在金融業中的主要運用有：1.資料分析和設計構造的資料倉庫；2.特征資料變量選擇、關聯屬性相關資料用于預測客戶信用狀況；3.聚類、分類分析識别目标客戶和市場；4.資料可視化過程及歸并、聚類分析甄别洗錢等金融犯罪行為。
将大資料技術應用于金融業不僅是技術發展的需要，也是金融業提高自身盈利能力的需要。在目前“以客戶為中心、以市場為導向”的激烈競争時代，在各大金融機構準備“二次轉型”的改革程序中，要想提高核心競争能力、防範業務風險、提高業務分析資料的時效性及準确性，就必須懂得如何利用現代管理資訊系統進行綜合分析，挖掘客戶的潛在價值，利用有價值的資訊改進服務手段，運用資料挖掘技術實作職能化的決策支援功能管理。一直以來，金融行業對資料的重視程度非常高。随着移動網際網路發展，各種金融業務和服務的多樣化和金融市場的整體規模擴大。對于大資料帶來的主要業務價值，參加調研的金融企業表示，大資料的價值是他們可以根據商業分析實作更加智能的業務決策，讓決策的制定更加理性化和有根據。依靠有前瞻性的決策，實作生産過程中資源更優化的配置設定，能夠根據市場變化迅速做出調整，提高使用者體驗以及資金周轉率，進而擷取更高的利潤。
二、大資料技術在銀行業中的主要應用場景
（一）大資料時代下銀行的精準營銷
按照單個客戶個性化的營銷方案和溝通服務體系，金融機構依照資訊化技術手段可以建立起精确的營銷方案以實作對個人客戶的精準營銷（precision marketing）。這種建立在精準定位基礎之上的營銷活動，包含着對個體的關注和差異化的認同，可以最大限度地攤平企業的成本。精準營銷對于每一位金融客戶的興趣、愛好、購買能力均可以做出預測和判斷，根據綜合化的評分向顧客推薦金融服務及産品，以保障推薦産品在其财力範圍和興趣半徑之内。精準營銷的基本理念如圖2所示：
傳統銀行業當中，認識産品、産生興趣、付款購買三個環節是金融消費者在購買過程當中必然出現的環節。由于在認知産品的過程當中，消費者會通過網絡、私人管道進行檢索，對産品資訊、類别進行了解以确定其購買資訊，在此過程當中産生的搜尋資料便可以定位消費者的收入水準、興趣和愛好，企業借助分布式存儲和雲計算深度挖掘這一系列關于該類消費者的資訊，形成完整的客戶關系系統（crm系統），進而設計出各種序列的營銷方案，推送給消費者，實作精準化營銷[5]。
（二）大資料時代下銀行的精細化管理
大宗交易資料是傳統銀行最為重視的業務内容，由于受制于銀行較弱的資料處理能力，體量龐大、細節更多的精細化交易資料無法得到有效處理。例如，傳統銀行經營模式之下，商業銀行僅能記錄每次的銀行卡消費資訊，卻無法實作實時的消費資訊回報，歸集整理；在存款、貸款風險管控過程當中，銀行也對于對小額貸款實施有效的風險管控。一般的商業銀行在記錄了客戶消費和挑選産品的資料後，亦沒有利用好這些并不是為商業銀行經營活動（風控、催收）而産生的資料。顧客的每筆投資和消費都被記錄分析之後，運用資料挖掘技術将産生資訊化決策，有助于提升使用者體驗，精細化管理水準将不斷提高。
（三）大資料時代銀行的低成本管理
傳統銀行業中的資訊資料是手工化産生的，容易産生錯誤。特别是在信貸活動過程當中，對于銀行客戶資訊在記錄過程中産生的錯誤将會給銀行經營的有效性造成損失，這種傳統的手工資訊處理方式效率低下、準确度差、成本高。在商業銀行的貸款業務當中，銀行需要對客戶的個人資訊、财務狀況和抵押品等内容進行盡職調查，資訊擷取的成本較高。但在大資料時代，商業銀行對客戶資訊的采錄過程完全自動，通過客戶自填、自報，收錄客戶的個人資訊，進而更加精确地了解到客戶的實際情況，降低人工處理成本，提高辦事效率。對于個體、小微層面的關注将有效解決長期以來困擾中國企業的“小微融資難”問題。
（四）大資料時代的集中化管理
商業銀行的傳統業務模式當中，跨地區、跨國經營成本極高，商業銀行不僅要承擔開設實體機構的成本，還要承擔與代理行之間産生的摩擦經營成本。在大資料技術的幫助之下，商業銀行總部機構将可以更加便捷地擷取更多有價值的資訊，不僅局限于當地的分支機構，跨越了地域、時空限制。對各個條線的集約化管理，使得銀行總部的經營權利更加集中，分支行的執行功能将被強化，銀行管理職責、風控政策将被集中于總行層面，有助于進一步提高機構總體執行力，避免上傳下達過程當中的摩擦成本。
三、大資料技術在銀行業應用中的主要優勢與難題
經濟社會的三個重要組成要素：産品、資訊、資金滲透于網際網路時代的諸多環節，網際網路時代的激烈競争當中，電商、銀行、物流三大類别企業代表着三種要素的重要占有者，三者都希望成為主宰着三種要素的利益獲得者。雖然在網際網路技術、平台層面商業銀行有所落後，但從長期發展趨勢來看，商業銀行具有重要的優勢同時也存在着諸多困難，主要包括以下幾個方面：
（一）商業銀行的資訊與人才優勢
商業銀行不僅掌握着大量資金，而且在資訊搜集方面也擁有獨特優勢，不管是甄别優、劣客戶進行授信貸款，還是金融服務使用者交易活動留下的交易痕迹都是其重要資料資産。尤其是商業銀行的資訊化建設也居于各行業前列，資訊處理與建設已經根植入商業銀行的“思維”。商業銀行不僅有資訊化建設的意願，而且具備建設優質資訊化系統的條件。特别是在2000年之後，中國的商業銀行提出建立資料集市的思路。各大商業銀行紛紛建立了資料中心和備份中心，提高了資料的存儲利用效率和風險防控能力。另外，由于在貸款和金融業務開辦之前，各自然人都需要在商業銀行開戶并填寫個人基本資訊，社會上的資金劃轉要以商業銀行為媒介，是以商業銀行有着廣泛的管道擷取客戶資訊和資金流資訊，同時pos機和atm也可以擷取個人的消費資訊。多年的積累，使商業銀行已形成海量的資訊資料庫，其結構化程度優于電商等企業。
中國的商業銀行均設有科技開發中心、資料測試和收集中心以便于商業銀行開發擁有自主知識産權的個性化業務、功能。在二十世紀初提出的建立資料集中項目過程當中，商業銀行累積了大量建設複雜資料資訊系統的經驗，涉及軟體開發、資料倉儲等具體實操項目，這些項目鍛煉了商業銀行的科技開發隊伍，為商業銀行積累了許多軟體開發、管理人才。金融人才和資訊科技人才的結合是商業銀行建構有效物流、資訊流的重要基礎保障。
（二）商業銀行的資金與制度優勢
商業銀行的利潤率普遍較高，近幾年來的業績增長較快，許多商業銀行的盈利能力開始超過國外商業銀行。是以，商業銀行内部擁有充足的資金，有利于商業銀行建立大規模的資金、物流、資訊流作業系統。資金優勢使商業銀行在建構三網融合過程當中可以建立先進的資料作業系統、存儲系統和計算系統，有利于大資料技術的發展和應用。
中國的商業銀行一方面自負盈虧，另一方面與政策存在着千絲萬縷的聯系。我國的商業銀行牌照較難獲得，電商和物流商的資格相對都比較簡單。我國大型商業銀行已基本實作集團化經營，全國十五家上市銀行資産占到中國商業銀行總資産的60%以上，其經營管理經驗、理念、方式、方法都強于電商和物流企業，容易形成跨界、跨區域經營。
（二）商業銀行大資料應用的難題
在利用大資料幫助商業銀行進行問題解決的同時，信貸客戶個人資訊保護、隐私保護的邊際在哪裡，客戶的哪些資料可以收集，可以通過什麼樣的方式收集？個人資料是不是可以全部收集，收集在一起引起的副作用也要考慮。例如：美國有法律規範禁止教育部門的資料與移民局資料聯通，移民局不得利用教育部門資料來查獲非法移民，目的是為了防止這些移民由于害怕移民局而不将兒童送去上學，如果存在大量的失學青年可能會對美國社會的安定和未來不利。
哪些資料可以收集？是否可以追蹤公司高管個人的資訊？這些問題均涉及到道德與法律層次的重要問題。資料資産的合理利用也需規範，資料結果能用于哪些方面，是否會違背非歧視原則？在證券交易與商業銀行資料應用過程中必然涉及到方方面面的内容亟待解決。另外更大規模的數字化對于資本市場、信貸市場的長遠影響究竟如何？對各種參與者都是公平的嗎？對于商業銀行的存在本質是有益的嗎？
以上種種問題，隻是冰山一角，大資料對社會、對金融、對個人的影響還需細緻分析和推演，需制定在金融領域的資料收集、資料分析和利用規則，制定底線。
四、大資料技術在銀行業應用中的對策建議
商業銀行應當繼續使用大資料和資料挖掘技術及時、準确、全面地掌握自身資産品質、數量及分布、頭寸排程、信貸情況，提供給客戶安全、可靠及強有力的技術支撐。資料倉庫、大資料、資料集市通過深度挖掘可以獲得“深度效益”；同時，大資料技術還搜集了大量的商戶、使用者資料，可以為開發新的産品、業務及綜合化服務，讓銀行在不同的平台、層面上為使用者提供異質化業務變得更加容易，而且為商業銀行的經營管理決策提供了支援與依據，讓商業銀行可以随時根據與自已有曆史經驗往來的商戶資料資訊推斷出客戶的信用狀況，有助于銀行風險的防範。
随着各種新技術的發展，大資料與資料挖掘技術也随研究的深入而不斷進步，以後将更加便捷、有效地應用于未來的實踐當中去，結合新的理論、技術和模型評價方法，以增加資料挖掘的有效性，進一步提高資料分析工具的實用性。資料挖掘在未來商業銀行中的研究焦點和需要進一步開展的工作在于以下幾個方面。
（一）完善商業銀行資訊系統總體架構設計
傳統商業銀行的資料應用資訊系統搜集與儲存系統在大資料應用環境背景下仍需進一步完善，本文根據商業銀行大資料的業務基本需求和監部部門的監管要求，結合我國金融機構目前的實際情況，采用企業級分層架構思想，建構出如圖3所示的金融機構大資料資訊系統體系架構圖：
該大資料系統體系結構的特點包括：①階層化清晰。系統共分為應用層、服務層、網絡層和資料層，在系統體系結構中，每層将具有相同服務功能的部分封裝在一起，相鄰層之間調用服務；②在傳統三層網絡體系結構的基礎上，該體系結構加入了網絡層，通過金融機構專用網絡将服務層和資料層相連接配接，并設定了防火牆，充分保證金融機構業務資料的安全性；③各個商業金融機構可以通過金融機構專用網絡共享資料庫資訊，同時各監管部門與業務條線可以實時檢視銀行經營業務資料，提高業務開展效率與監管可行性。
（二）加強資料挖掘應用系統和算法測試的研究
不斷重視資料挖掘技術的實際應用。盡管國内關于大資料技術和資料挖掘理論對算法模型的研究較多，但實際應用案例和算法應用改進案例卻比較少，缺乏可以借鑒的經驗資料。如何引入國外的先進經驗、技術，改進算法的性能并進行有效性測試，檢驗算法合理性和功能系統的穩定性？結合多種資料挖掘算法實作，提高資料挖掘的效率和技術功效仍是亟待解決的問題。
（三）加強傳統資料與非結構化資料挖掘過程中的可視化方法的研究
加強人機互動，可以把使用者需要解決的問題友善地轉化為資料挖掘技術人員能夠了解并解決的問題，然後将結果以更直接的表現形式被使用者了解。完善解釋機制，将各種算法的研究趨向于簡單化和易于了解。
從多媒體資料庫中發現有意義的模式，包括對文本資料、圖形資料、音頻資料以及超文本資料的挖掘等。基于内容的檢索和相似度搜尋、概化和多元分析、分類和預測分析對複雜資料進行挖掘，使資料挖掘技術發展的整體趨勢由處理簡單的挖掘問題逐漸到解決複雜的挖掘問題。
（四）加強對資料挖掘結果的有效性研究
用科學的方法加以評估。目前許多算法所花費的時間很短，但其挖掘結果的資料卻遠遠超出了可了解的範圍。随着資訊技術的高速發展，今後的算法研究需要集中在挖掘結果的有效性上，便于使用者快速得到自己所需要的、有價值的資訊。包括對算法的動态維護、基于限制的挖掘算法和提高算法的可伸縮性等都将是主要的研究方向。
本文轉自d1net（轉載）