第一篇：“大集中”應用系統的結構和技術特點2——海量資料處理

海者，大也！通俗來講，就是大規模的資料處理。對行業核心應用而言，海量資料處理包括幾個方面的含義：

其一：資料庫中存儲的資料規模龐大，往往有數十道數百GB，甚至會達到TB級數。

其二：應用邏輯在執行過程中可能會涉及大規模的資料處理，包括資料儲存、檢索、加工等運算。

其三：對于聯機事務處理而言，所有資料處理操作都有一個非常嚴格的響應時間。比如基本的資料存取通路操作，響應時間不得超過3秒；對于複雜的資料檢索操作，響應時間不得超過15秒等等。

和海量資料處理對應的，是有限的記憶體單元。就JVM而言，面對上百G的資料，運作時可用記憶體往往不超過2GB。

是以，核心應用系統中，架構和應用系統設計的核心技術問題之一就是如何在有限的空間内實作大規模的資料處理。

在資料的存儲方面，可以通過聯機庫、操作庫（ODS）和資料倉庫等多級資料存儲模式來歸并曆史資料，分别按照聯機、查詢、資料挖掘分析等不同的目的提供有針對性的優化政策，提升資料通路效率。

在資料操作程式設計方面，要非常關注程式的執行性能問題，從資料結構、程式算法、均衡部署、資源優化配置設定等方面着手，提升程式的運作效率。