雲計算在某些方面具有現實中雲的特征:雲一般比較大(很大的飛機在雲中飛行充分說明雲更大);雲的規模可以動态伸縮,它的邊界是模糊的;雲在空中飄忽不定,無法也無須确定它的具體位置,但它确實存在于某處。
在雲計算概念誕生之前,很多公司已經通過網際網路提供諸多服務,如訂票、地圖搜尋以及其他硬體租賃業務,随着服務内容和使用者規模的不斷增加,對于服務的可靠性、可用性的要求急劇增加,誕生了能夠集中處理計算的建設于各地的資料中心。有能力建設于各地的資料中心的大公司,在有服務資源的情況下,就将自己的基礎設施能力作為服務提供給相關的使用者,形成了今天的雲計算。
20世紀60年待,麥肯錫(john McCarthy)就提出了把計算能力作為一種像水和電一樣的公共事業提供給使用者。雲計算的第一個裡程碑是1999年Saleforce.com提出的通過一個網站向企業提供企業級應用的概念;另一個重要進展是2002年亞馬遜提供一組包括存儲空間、計算能力甚至人工智能等資源服務的webservice;2005年亞馬遜又提出彈性計算雲(Elastic Compute Cloud,EC2)的webservice,允許小企業和私人租用亞馬遜的計算機來運作它們自己的應用。到2008年,幾乎所有主流IT廠商(包括硬體IBM、Intel、HP、思科、Sun和軟體微軟、Oracle、VMware和網際網路的Google、亞馬遜、Saleforce和電信的中國移動、中國電信、AT&T)開始讨論雲計算,這些企業覆寫了整個IT産業鍊,也構成了完整的雲計算生态系統。
雲計算是使計算分布在大量的分布式計算機上,而非本地計算機或遠端伺服器中,企業資料中心的運作将與網際網路更相似。使得企業能夠根據需求通路計算及或存儲系統,類似從古老的單台發電機模式向電廠集中供電的模式。它意味着計算能力也可以作為一種商品進行流通,就像瓦斯、水、電一樣,友善取用,費用低廉。最大的不同在于,它是通過網際網路進行傳輸的。