
1.1 Linux運維的主要工作内容
1、什麼是linux運維
運維是指大型組織已經建立好的網絡軟硬體的維護,就是要保證業務的上線與運作的正常。
在他運轉的過程中,對他進行維護,他集合了網絡、系統、資料庫、開發、安全、監控于一身的技術。
運維又包括很多種,有DBA運維、網站運維、虛拟化運維、監控運維、遊戲運維等等。
運維分類:
1)開發運維:是給應用運維開發運維工具和運維平台的
2)應用運維:是給業務上線、維護和做故障排除的,用開發運維開發出來的工具給業務上線、維護、做故障排查
3)系統運維:是給應用運維提供業務上的基礎設施,比如:系統、網絡、監控、硬體等等
2、基礎運維常見工作内容
服務監控技術:包括監控平台的研發、應用,服務監控準确性、實時性、全面性的保障
服務故障管理:包括服務的故障預案設計,預案的自動化執行,故障的總結并回報到産品/系統的設計層面進行優化以提高産品的穩定性
服務容量管理:測量服務的容量,規劃服務的機房建設,擴容、遷移等工作
服務性能優化:從各個方向,包括網絡優化、作業系統優化、應用優化、用戶端優化等,提高服務的性能和響應速度,改善使用者體驗
服務全局流量排程:接入服務的流量,根據容量和服務狀态在各個機房間配置設定流量
服務安全保障:包括服務的通路安全、防攻擊、權限控制等
服務自動釋出部署:部署平台/工具的研發,及平台/工具的使用,做到安全、高效的釋出服務
服務叢集管理:包括服務的伺服器管理、大規模叢集管理等
服務成本優化:盡可能降低服務運作使用的資源,降低服務運作成本
資料庫管理(DBA):通過設計、開發和管理高性能資料庫叢集,使資料庫服務更穩定、更高效、更易于管理。
平台化的開發:類docker等平台的開發管理,及服務接入技術
1.2 Linux運維工作發展過程
1、手工管理階段
1)業務規模
業務流量不大,伺服器數量相對較少,系統複雜度不高。
對于日常的業務管理操作,大家更多的是逐台登入伺服器進行手工操作,屬于各自為戰。
每個人都有自己的操作方式,缺少必要的操作标準、流程機制,比如業務目錄環境都是各式各樣的。
2)工作職責
早期的運維團隊在人員較少的情況下,主要是進行資料中心建設、基礎網絡建設、伺服器采購和伺服器安裝傳遞工作。
幾乎很少涉及線上服務的變更、監控、管理等工作。
這個時候的運維團隊更多的屬于基礎建設的角色,提供一個簡單、可用的網絡環境和系統環境即可。
2、工具批量操作階段
1)業務規模
随着伺服器規模、系統複雜度的增加,全人工的操作方式已經不能滿足業務的快速發展需要。
是以,運維人員逐漸開始使用批量化的操作工具,針對不同操作類型出現了不同的腳本程式。
此時,雖然效率提升了一部分,但很快又遇到了瓶頸,操作的品質并沒有太多的提升。
我們開始建立大量的流程規範,比如複查機制,先上線一台伺服器觀察10分鐘後再繼續後面的操作,一次更新完成後至少要觀察20分鐘等。
這些主要還是靠人來監督和執行,但在實際過程中執行往往不到位,反而降低了工作效率。
2)工作職責
這個時候的運維團隊還會承擔一些伺服器監控的工作,同時會負責LVS、Nginx等與業務邏輯無關的4/7層運維工作。
這個時候服務變更更多的是逐台的手工操作,或者有一些簡單批量腳本的出現。
監控的焦點更多的在伺服器狀态和資源使用情況上,對服務應用狀态的監控幾乎很少,監控更多的使用各種開源系統如Nagios、Cacti等。
3、平台管理階段
1)業務規模
在這個階段,我們決定開始建設運維平台,通過平台承載标準、流程,進而解放人力和提高品質。
這個時候對服務的變更動作進行了抽象,形成了操作方法、服務目錄環境、服務運作方式等統一的标準。
通過平台來限制操作流程,如上面提到的上線一台伺服器觀察10分鐘,程式的啟停接口必須包括啟動、停止、重載等。
在平台中強制設定暫停檢查點,在第一台伺服器操作完成後,需要運維人員填寫相應的檢查項,然後才可以繼續執行後續的部署動作。
2)工作職責
由于業務規模和複雜度的持續增加,運維團隊會逐漸劃分為應用運維和系統運維兩大塊。
應用運維開始接手線上業務,逐漸開展服務監控梳理、資料備份以及服務變更的工作。
随着對服務的深入,應用運維工程師有能力開始對服務進行一些簡單的優化。
同時,為了應對每天大量的服務變更,我們也開始編寫各類運維工具,針對某些特定的服務能夠很友善的批量變更。
随着業務規模的增大,基礎設施由于容量規劃不足或抵禦風險能力較弱導緻的故障也越來越多,迫使運維人員開始将更多的精力投入到多資料中心容災、預案管理的方向上。
4、系統自排程階段
1)工作環境
更大規模的服務數量、更複雜的服務關聯關系、各個運維平台的林立,原有的将批量操作轉化成平台操作的方式已經不再适合。
需要對服務變更進行更高一層的抽象,将每一台伺服器抽象成一個容器,由排程系統根據資源使用情況,将服務排程、部署到合适的伺服器上。
自動化完成與周邊各個運維系統的關聯,比如監控系統、日志系統、備份系統等。
通過自排程系統,根據服務運作情況動态伸縮容量,能夠自動化處理常見的服務故障。
運維人員的工作也會前置到産品設計階段,協助研發人員改造服務使其可以接入到自排程系統中。
2)工作職責
業務規模達到一定程度後,開源的監控系統在性能和功能方面,已經無法滿足業務需求;
大量的服務變更、複雜的服務關系,以前靠人工記錄、工具變更的方式不管在效率還是準确性方面也都無法滿足業務需求;
在安全方面也出現了各種大大小小的事件,迫使我們投入更多的精力在安全防禦上。
逐漸的,運維團隊形成之前提到的5個大的工作分類,每個分類都需要有專精的人才。
這個時候系統運維更專注于基礎設施的建設和運維,提供穩定、高效的網絡環境,傳遞伺服器等資源給應用運維工程師。
應用運維更專注于服務運作狀态和效率,資料庫運維屬于應用運維工作的細化,更專注于資料庫領域的自動化、性能優化和安全防禦。
運維研發和運維安全提供各類平台、工具,MT5使用進一步提升運維工程師的工作效率,使業務服務運作得更加穩定、高效和安全。
1.3 Linux運維工作分類
1、應用運維(SRE):
應用運維負責線上服務的變更、服務狀态監控、服務容災和資料備份等工作,對服務進行例行排查、故障應急處理等工作
工作職責如下:設計評審、服務管理、資源管理、例行檢查、預案管理、資料備份。
2、系統運維(SYS):
負責IDC、網絡、CDN和基礎服務的建設(LVS、NTP、DNS);
負責資産管理,伺服器選型、傳遞和維修,網絡建設、LVS負載均衡和SNAT建設
3、運維開發
是給應用運維開發運維工具和運維平台的
主要包含的平台:工單系統、CMDB、監控系統、ELK日志系統、CI/CD、LDAP、FAQ、教育訓練系統、OpenStack平台
4、資料庫運維(DBA):
資料庫運維負責資料存儲方案設計、資料庫表設計、索引設計和SQL優化,
對資料庫進行變更、監控、備份、高可用設計等工作,詳細的工作内容如下
設計評審、容量規劃、資料備份與災備、資料庫監控、資料庫安全、資料庫高可用和性能優化
自動化系統建設、運維研發、運維平台、監控系統、自動化部署系統
5、運維安全(SEC):
運維安全負責網絡、系統和業務等方面的安全加強工作
進行正常的安全掃描、滲透測試,進行安全工具和系統研發以及安全事件應急處理
工作内容如下:安全制度建立、安全教育訓練、風險評估、安全建設、安全合規、應急響應