系統內建項目管理工程師備考資料（口袋應試第二版）5

雲計算與大資料

口袋應試：雲計算、大資料内容在第二版的第一章和第三章都有，是以在這裡單獨整理一篇，這兩個内容都是考試重點，建議大家都掌握一下。如果大家時間和精力有限，可以在微信中搜尋“內建中級口袋應試”小程式，利用瑣碎的時間進行複習，小程式中可以在分類測試中進行對應章節的試題練習。

1.6.2雲計算

2.雲計算服務的類型

按照雲計算服務提供的資源層次，可以分為laaS、PaaS和SaaS等三種服務類型。

(1) laaS (基礎設施即服務)

向使用者提供計算機能力、存儲空間等基礎設施方面的 服務。這種服務模式需要較大的基礎設施投入和長期營運管理經驗，但laaS服務單純出 租資源，盈利能力有限。

英文為Infrastructure as a Service,指消費者通過Internet可以從雲計算中心獲得完善 的計算機基礎設施服務，例如虛拟主機、存儲服務等，典型廠家有Amazon、阿裡雲等。 如果把雲計算比作一台計算機，laaS就相當于計算機的主機等硬體。

(2) 平台即服務（PaaS)

向使用者提供虛拟的作業系統、資料庫管理系統、Web應用等平台化的服務。PaaS服務的重點不在于直接的經濟效益，而更注重建構和形成緊密 的産業生态。

英文為Platform as a Service,指為雲計算上各種應用軟體提供服務的平台應用，其作用 類似于個人計算機的作業系統，也包括一些增強應用開發的“開發包'典型廠家有Google App Engine、Microsoft Azure、阿裡 Aliyun Cloud Enginee、百度 Baidu App Enginee 等。

(3) 軟體即服務（SaaS)

向使用者提供應用軟體（如CRM、辦公軟體等）、元件、 工作流等虛拟化軟體的服務，SaaS 一般采用Web技術和SOA架構，通過Internet向使用者提供多租戶、可定制的應用能力，大大縮短了軟體産業的管道鍊條，減少了軟體更新、 定制和運作維護的複雜程度，并使軟體提供商從軟體産品的生産者轉變為應用服務的運者。

英文為Software as a Service,是一種通過Internet提供軟體的模式，使用者無需購買軟體，而是向提供商租用基于Web的軟體，來管理企業經營活動。類似于個人計算機中各種各樣的應用軟體。提供SaaS服務的廠家越來越多，典型的如國外的Salesforce、國内的淘寶等。

口袋應試：ACaas（門禁即服務）、DaaS（資料即服務），試題經常出，但是教材中沒講

ACaaS（Access control as a Service）：

門禁即服務，是基于雲技術的門禁控制，當今市場有兩種典型的門禁即服務：真正的雲服務與機架伺服器托管。

DaaS（資料即服務）

雲端公司負責建立全部的IT環境，收集使用者需要的基礎資料并且做資料分析，最後對分析結構或者算法提供程式設計接口，讓資料成為服務。

第二版[email protected]

出題機率：★★★

150120、170124、190321

3.8.1 雲計算

1.雲計算概念

口袋應試：“雲計算的概念和特點”

雲計算是指基于網際網路的超級計算模式，通過網際網路來提供大型計算能力和動态易擴充的虛拟化資源。雲是網絡、網際網路的一種比喻說法。雲計算是一種大集中的服務模式：伺服器端可以通過網格計算，将大量低端計算機和存儲資源整合在一起，提供高性能的計算能力、存儲服務、應用和安全管理等；用戶端可以根據需要，動态申請計算、存儲和應用服務，在降低硬體、開發和運維成本的同時，大大拓展了用戶端的處理能力。用一句話概括雲計算就是通過網絡提供可動态伸縮的廉價計算能力，其通常具有下列特點：

（1）超大規模

（2）虛拟化

（3）高可靠性

（4）通用性

（5）高可擴充性

（6）按需服務

（7）極其廉價

（8）潛在的危險性

第二版[email protected]

出題機率：★★

180323、190123

3.雲計算架構

從對外提供的服務能力來看，雲計算的架構可以分為3個層次：基礎設施即服務 (laaS)、平台即服務（PaaS)和軟體即服務（SaaS)(詳見本書1.6.2節）。

(1) 基礎設施即服務（laaS)

英文為Infrastructure as a Service,指消費者通過Internet可以從雲計算中心獲得完善 的計算機基礎設施服務，例如虛拟主機、存儲服務等，典型廠家有Amazon、阿裡雲等。 如果把雲計算比作一台計算機，laaS就相當于計算機的主機等硬體。

(2) 平台即服務（PaaS)

英文為Platform as a Service,指為雲計算上各種應用軟體提供服務的平台應用，其作用 類似于個人計算機的作業系統，也包括一些增強應用開發的“開發包'典型廠家有Google App Engine、Microsoft Azure、阿裡 Aliyun Cloud Enginee、百度 Baidu App Enginee 等。

(3) 軟體即服務（SaaS)

英文為Software as a Service,是一種通過Internet提供軟體的模式，使用者無需購買 軟體，而是向提供商租用基于Web的軟體，來管理企業經營活動。類似于個人計算機中 各種各樣的應用軟體。提供SaaS服務的廠家越來越多，典型的如國外的Salesforce、國内的淘寶等。

第二版[email protected]

出題機率：★★★★

160117、180109、180123、190109

4.雲計算應用

(1) 從服務層次來看，如前所述，雲計算的應用可分為基礎設施即服務（laaS)、平 台即服務（PaaS)、軟體即服務（SaaS) 3個層次。

(2) 從應用範圍來看，雲計算又可分為公有雲、私有雲和混合雲。

公有雲通常指第 5方提供商使用者能夠使使用的雲，

私有雲是為一個客戶單獨使用而建構的，因而提供對資料、安全性和服務品質 的最有效控制。

混合雲就是将公有、私有兩種模式結合起來，根據需要提供統一服務的模式。

(3) 從行業來看，在國内雲計算應用較多的行業包括金融、政府、電子商務、遊戲、 音視訊網站、移動應用、門戶和社群等。

第二版[email protected]

出題機率：★

170324

●其它專業的備考複習資料，可以在檢視我的部落格：跬步郎的部落格  。已釋出的專業有“資訊系統項目管理師”“網絡規劃師”“系統架構設計師”

1.6.1大資料

1.大資料概念

......

大資料具有5V特點：Volume (大量)、Velocity (高速)、Variety (多樣)、Value (價值)和Veracity (真實性)。

第二版[email protected]

出題機率：★

190307

2.大資料關鍵技術

(1)大資料存儲管理技術。

大資料存儲技術首先需要解決的是資料海量化和快速增長需求。存儲的硬體架構和檔案系統的成本效益要大大高于傳統技術，存儲容量計劃應可以無限制擴充，且要求有很強的容錯能力和并發讀寫能力。目前，谷歌檔案系統(GFS)和Hadoop的分布式檔案系統HDFS奠定了大資料存儲技術的基礎。大資料存儲技術第二個要解決的是處理格式多樣化的資料，這要求大資料存儲管理系統能夠對各種非結構化資料進行高效管理，代表産品如：谷歌BigTable和HadoopHbase等非關系型資料庫(NoSQL)。

(2)大資料并行分析技術。

大資料的分析挖掘是資料密集型計算，需要巨大的計算能力，對計算單元和存儲單元的資料吞吐率要求極高，并要求計算系統有非常好的擴充性和成本效益。谷歌的MapReduce是主要的大資料分布式并行計算技術之一，而開源的分布式并行計算技術Apache HadoopMapReduce，已經成為應用最廣泛的大資料計算軟體平台。

(3)大資料分析技術。

大資料分析技術的發展需要在兩個方面取得突破，一是對規模非常龐大的結構化資料和半結構化資料進行高效的深度分析：二是對非結構化資料進行分析，将海量複雜多源的語音、圖像和視訊資料轉化為機器可識别的、具有明确語義的資訊，擷取隐性的知識。大資料分析的技術路線主要是通過建立人工智能系統，使用大量樣本資料進行訓練，讓機器模仿人工，獲得從資料中提取知識的能力。2006年，科學家根據人腦認知過程的分層特性，提出增加人工神經網絡層數和神經元節點數量，加大機器學習的規模．建構深度神經網絡，可以提高訓練效果，使得神經網絡技術成為機器學習分析技術的熱點，并在語音識别和圖像識别方面取得了很好的效果。

第二版[email protected]

出題機率：★★★★★

160323、170123、170323、180122、180322、190323

3.8.4大資料

3.大資料關鍵技術

大資料所涉及的技術很多，主要包括資料采集、資料存儲、資料管理、資料分析與挖掘四個環節。在資料采集階段主要使用的技術是資料抽取工具 ETL。在資料存儲環節主要有結構化資料、非結構化資料和半結構化資料的存儲與通路。

在關系資料庫，通過資料查詢語言（ SQL）來通路；非結構化（如圖檔、視訊、 doc檔案等）和半結構化資料一般通過分布式檔案系統的 NoSQL（Not Only SQL）進行存儲，比較典型的 NoSQL有 Google的 Bigtable、Amazon的 Dynamo和 Apache的 Hbase。大資料管理主要使用了分布式并行處理技術，比較常用的有 MapReduce，程式設計人員借助MapReduce可以在不會分布式并行程式設計的情況下，将自己的程式運作在分布式系統上。資料分析與挖掘是根據業務需求對大資料進行關聯、聚類、分類等鑽取和分析，并利用圖形、表格加以展示，與 ETL一樣，資料分析和挖掘是以前資料倉庫的範疇，隻是在大資料中得以更好的利用。

（1）HDFS

Hadoop分布式檔案系統（ HDFS）是适合運作在通用硬體上的分布式檔案系統，是一個高度容錯性的系統，适合部署在廉價的機器上。

（2）HBase

HBase是一個分布式的、面向列的開源資料庫，該技術來源于 Fay Chang 所撰寫的

Google論文“Bigtable：一個結構化資料的分布式存儲系統”，HBase在 Hadoop之上提供了類似于 Bigtable的能力。利用 HBase技術可在廉價 PC Server上搭建起大規模結構化存儲叢集。

HBase不同于一般的關系資料庫，它是一個适合于非結構化資料存儲的資料庫。

（3）MapReduce

MapReduce是一種程式設計模型，用于大規模資料集（大于 1TB）的并行運算。

（4）Chukwa

Chukwa是一個開源的用于監控大型分布式系統的資料收集系統。這是建構在 Hadoop的 HDFS和 Map/Reduce 架構之上的，繼承了 Hadoop的可伸縮性和魯棒性。

第二版[email protected]

出題機率：★★★

以下為第一版内容，僅供參考

雲計算

1.雲計算（cloud computing）是基于網際網路的服務的增加、使用和傳遞模式，通常涉及通過網際網路來提供動态易擴充且經常是虛拟化的資源。

2.雲計算是一種理想狀态，它無需使用者的電腦進行資料處理而是交給雲端進行處理，因為雲端處理資料能力更強一些

3.雲計算的運用目前常分為四大類：雲安全、雲遊戲、雲儲存、雲物聯

  雲計算可以認為包括以下幾個層次的服務：基礎設施即服務（IaaS），平台即服務（PaaS）和軟體即服務（SaaS）。這裡所謂的層次，是分層體系架構意義上的“層次”。IaaS，PaaS，SaaS分别在基礎設施層，軟體開放運作平台層，應用軟體層實作。

出題機率：★★

150320、150317

 雲計算及服務形式

1.雲計算（cloud computing）是基于網際網路的服務的增加、使用和傳遞模式，通常涉及通過網際網路來提供動态易擴充且經常是虛拟化的資源。狹義雲計算指IT基礎設施的傳遞和使用模式，指通過網絡以按需、易擴充的方式獲得所需資源；廣義雲計算指服務的傳遞和使用模式，指通過網絡以按需、易擴充的方式獲得所需服務。這種服務可以是IT和軟體、網際網路相關，也可是其他服務。它意味着計算能力也可作為一種商品通過網際網路進行流通。雲其實是網絡、網際網路的一種比喻說法。過去在圖中往往用雲來表示電信網，後來也用來表示網際網路和底層基礎設施的抽象。

2.雲計算是一種理想狀态，它無需使用者的電腦進行資料處理而是交給雲端進行處理，因為雲端處理資料能力更強一些

3.說道雲計算的運用目前常分為四大類：雲安全、雲遊戲、雲儲存、雲物聯