【雲計算與大資料技術】分布式計算、虛拟化技術、并行程式設計技術等技術講解（超詳細必看）

一、分布式計算

分布式計算是一種計算方法，和集中式計算相對，随着計算的發展，一些應用需要巨大的計算能力才能完成，如果采用集中式計算則需要耗費很長的時間，而分布式計算将應用分解成許多更小的部分，配置設定到多台計算機進行處理，這樣可以節省整體計算時間，大大提高計算效率。雲計算是分布式計算技術的一種，也是分布式計算這種科學概念的商業實作

分布式計算的優點就是發揮集體的力量，将大任務分解成小任務，配置設定給多個計算節點去同時計算，分布式計算将計算擴充到多台計算機，甚至是多個網絡，在網絡上有序的執行一個共同的任務，當然離不開Web技術，但在分布式計算發展起來之前的網絡協定并不能滿足分布式計算的要求，于是産生了Web Service計算

分布式計算的另一種應用是Web Service 它是一個平台獨立的  低耦合的 自包含的 基于可程式設計的Web的應用程式，可使用開放的XML标準來描述，釋出，發現，協調和配置這些應用程式，用于開發分布式的，互操作的應用程式 

簡單地說，這種技術的功能和中間件的功能有相似之處，Web Service技術是屏蔽掉不同開發平台開發的功能子產品互相調用的障礙，進而可以利用HTTP和SOAP使商業資料在Web上傳輸，可以調用這些開發平台不同的功能子產品來完成計算任務，這樣看來，要在網際網路上實施大規模的分布式計算，就需要Web Service作支撐

 二、雲計算的基本概念

雲計算的組成可以分為六個部分，它們由下至上分别是：  

基礎設施（Infrastructure）

雲基礎設施使經過虛拟化的硬體資源和相關管理功能的集合，對内通過虛拟化技術對實體資源進行抽象，對外提供動态 靈活的資源服務

 存儲（Storage）  

雲存儲設計提供資料存儲作為一項服務，包括類似資料庫的服務，通常以使用的存儲量為結算基礎

平台（Platform）  

雲平台直接提供計算平台和解決方案作為服務，以友善應用程式部署，進而節省購買和管理底層硬體和軟體的成本

應用（Application）

雲應用利用雲軟體架構，往往不再需要使用者在自己的計算機上安裝和運作該應用程式，進而減輕軟體維護 操作和售後支援的負擔

 服務（Services）

雲服務是指包括産品、服務和解決方案都實時的在網際網路上進行傳遞和使用

 用戶端（Clients）

雲用戶端包括專為提供雲服務的計算機硬體和計算機軟體中斷

三、雲計算的關鍵技術

1：分布式海量資料存儲

   以移動通信營運商為例，随着移動業務和使用者規模的不斷擴大，每天都産生海量的業務、計費以及網管資料，然而龐大的資料量使得傳統的資料庫存儲已經無法滿足存儲和分析需求，主要有以下問題

資料庫容量有限

  并行取數困難  

JDBC通路效率太低  

資料庫并發通路數太多

理想的解決方案是把大資料存儲到分布式檔案系統中，雲計算系統由大量伺服器組成，同時為大量使用者服務，是以雲計算系統采用分布式存儲的方式存儲資料，用備援存儲的方式保證資料的可靠性

雲計算系統中廣泛使用的資料存儲系統是GFS和HDFS。

2：虛拟化技術

虛拟化技術是雲計算系統的核心組成部分之一，是将各種計算及存儲資源充分整合和高效利用的關鍵技術。雲計算的虛拟化技術不同于傳統的單一虛拟化，它是涵蓋整個IT架構的，包括資源，網絡，應用和桌面在内的全系統虛拟化，通過虛拟化技術可以實作将所有硬體裝置，軟體應用和資料隔離開來，打破硬體配置，軟體部署和資料分布的界限，實作IT架構的動态化，虛拟化技術可以提供以下特點

資源分享

通過虛拟機封裝使用者各自的運作環境，有效實作多使用者分布分享資料中心資源

資源定制

使用者利用虛拟化技術，配置私有的伺服器，指定所需的CPU數目 記憶體容量 磁盤空間 實作資源的按需配置設定

細粒度資源管理

将實體伺服器拆分成若幹虛拟機，可以提高伺服器的資源使用率，減少浪費，而且有助于伺服器的負載均衡和節能

3：雲平台技術

 雲平台技術能夠使大量的伺服器協同工作，友善地進行業務部署，快速發現和恢複系統故障，通過自動化、智能化的手段實作大規模系統的可靠營運。  

 雲計算平台的主要特點是使用者不必關心雲平台底層的實作。

4：并行程式設計技術

目前兩種最重要的并行程式設計模式四資料并行和消息傳遞。資料并行程式設計模型的程式設計級别比較高，程式設計相對簡單，但它僅适用于資料并行問題，消息傳遞程式設計模型的程式設計級别相對較低，但消息傳遞程式設計模型可以有更廣泛的應用範圍

5：資料管理技術

資料管理技術必須能夠高效地管理大資料集，其次，如何在規模巨大的資料中找到特定的資料，也是雲計算資料管理技術所必須解決的問題。

應用于雲計算的資料管理技術最常見的是Google的BigTable資料管理技術，它采用列存儲的方式管理資料。

BigTable技術建立在GFS和MapReduce之上的一個大型分布式資料庫，它實際上是一個很龐大的表，它将所有資料都作為對象來處理，形成一個巨大的表格。

創作不易 覺得有幫助請點贊關注收藏~~~