在伺服器上首先要安裝OS作業系統，不同的伺服器需要的作業系統是不同的，主流的Unix伺服器作業系統有AIX、Solaris和HP -un11，X86伺服器的作業系統通常是Linux系統和Windows作業系統。
對于雲計算平台通常需要安裝VMware FusionSphere或KVM等虛拟化系統。虛拟化系統可以将實體伺服器模拟成多台小的虛拟化伺服器來使用。通過伺服器虛拟化能提供更好的資源使用效率。自動部署和簡化管理。
在作業系統上可以安裝不同的資料庫、中間件、業務應用軟體等。
- 主流的資料庫軟體有Oracle、MySQL、IBM DB2、SQL Server以及國産的人大金倉等，如下圖：
伺服器上層軟體架構 - 中間件有Java、WebLogic、Tomcat等，中間件主要是為上層應用軟體提供運作和開發環境，提供預制可複用的業務功能子產品、API接口等。幫助使用者靈活 高效地開發和內建複雜的應用系統。
伺服器上層軟體架構 - 業務應用層軟體是面向客戶的邏輯層軟體，比如ERP、 CRM 、HR等應用軟體，業務應用軟體通常是基于資料庫、中間件等基礎架構平台之上。
伺服器上層軟體架構與雲計算服務架構對應關系：
雲計算服務架構就是IaaS、PaaS、SaaS三層。