天天看點

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

概述

閱讀對象

本博文主要寫給創業團隊、技術團隊人數 < 5 人、沒有專業運維等小微企業作為參考,需要掌握基礎的伺服器管理、軟體開發等經驗。

博文主要内容

本博文主要為大家介紹阿裡雲提供的基礎雲監控、日志服務兩大産品,通過雲監控與日志服務可以做到每天不需要時刻關注所開發的軟體系統、伺服器、資料庫等健康狀況就掌握異常情況,并能及時進行應急響應和處理。

雲監控

官方介紹

雲監控服務可用于收集擷取阿裡雲資源的監控名額或使用者自定義的監控名額,探測服務可用性,以及針對名額設定警報。使您全面了解阿裡雲上的資源使用情況、業務的運作狀況和健康度,并及時收到異常報警做出反應,保證應用程式順暢運作。

SLS 日志服務

日志服務(Log Service,簡稱LOG/原SLS)是針對實時資料一站式服務,在阿裡集團經曆大量大資料場景錘煉而成。

提供日志類資料采集、消費、投遞及查詢分析功能,全面提升海量日志處理/分析能力,服務智能研發/運維/營運/安全等場景。

兩款産品主要解決問題

  • 天然內建,使用阿裡雲相關産品時雲監控會預設設定報警規則,在出現異常例如 CPU 使用率過高時自動觸發報警;
  • 資料可視化,可以通過雲監控監控大盤實時掌握各個雲資源或應用的健康狀況、性能名額等;
  • 監控資料處理,可以通過編寫資料收集腳本上傳隻雲監控,并在控制台設定靈活的監控名額、緯度;
  • 靈活報警,可以按照企業的實際情況以及所監控的資源或應用級别靈活設定報警規則,例如一般異常報警通知到開發組,重要報警通知到項目經理或技術總監等;
  • 全托管服務,日志服務無需自建存儲,通過 Agent 收集上傳日志即可,不用擔心伺服器磁盤被日志寫滿導緻應用系統異常;
  • 生态豐富,無論是服務端應用(如:Java、PHP)還是浏覽器應用(例如:JavaScript)等,均可以接入日志服務進行統一管理;
  • 實時性強,寫入即可消費,無需按照以往還需要登入伺服器檢視日志檔案,使用日志服務可以在控制台實時檢視和分析日志;

如何選擇使用

  • 雲監控使用基礎免費版即可體驗豐富的功能,根據企業實際情況也可以選擇付費版。
  • 日志服務目前按量付費,也有免費額度,使用起來整體費用都比較少,幾乎可以忽略不計。

案例一、雲監控實時檢測網站狀态,當機時第一時間響應和處理

1、控制台打開雲監控,進入站點管理

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

2、點選右側的建立監控任務

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

3、填寫所監控的網址并設定監控頻率,這裡我們為了讓監控更靈敏,設定 1分鐘

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

4、設定報警規則

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

這裡的可用性指一個探測周期内失敗率,正常情況下為 100%,我們這裡設定 90% 或 95% 即可,平均響應時間指超過多少毫秒無法打開網站即判定為失敗,這裡我們可以設定為 3000 毫秒,連續閥值這裡,有時網站因為網絡抖動的原因導緻探測點無法打開,這裡設定為 1 的話,每次探測點探測失敗均會觸發報警,這裡我們為了避免誤報可以設定為 3 次,基本上 3 次均探測失敗就不僅僅是網絡抖動原因,而是網站确實無法打開了。

5、設定好之後點選建立按鈕即可完成,這時我們可以通過清單直覺的檢視所監控的站點健康狀況

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

案例二、日志服務收集 nginx 通路日志以及分析

1、控制台打開日志服務,未開通日志服務時需要開通後操作,點選建立 Project

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

這裡所屬地域可以根據自己的 ECS 伺服器或者所收集日志的目标最近區域選擇

2、建立好 Project 之後還需要建立 Logstore 存儲日志

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務
小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

如果應用的日志比較少,這裡的 Shard 資料可以選擇 1

3、建立好 Logstore 之後進入資料接入環節

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務
小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

根據實際情況選擇對應的接入方式,這裡我們使用 nginx 的通路日志做教程,這裡選擇 nginx 通路日志即可

4、填寫配置資訊,我們需要知道伺服器上 nginx 日志存儲的位置,例如存放于 /usr/local/nginx/logs 目錄中,我們需要收集 access.log 日志

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

這裡的路徑配置這樣填寫即可

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

5、打開 nginx.conf 找到 log_format 配置,如圖:

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

填入 NGINX 日志格式中,這裡會自動生成 NGINX 鍵名稱

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

檢查無誤後點選下一步

6、應用到機器組,這裡我們将需要添加的伺服器加入到一個機器組中進行批量監控

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

機器組辨別選擇 IP 位址,并且填寫 ECS 伺服器内網 IP 位址

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

7、添加完成之後确認機器狀态正常

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

若檢測異常,參考文檔進行解決:

https://help.aliyun.com/document_detail/51458.html

8、再次點選 Logtail 配置,進行未完成的應用到機器組的操作

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

選擇我們剛添加的機器組

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

應用到機器組即可完成

9、配置完成後回到日志庫,點選預覽確定我們接入正确,并且日志服務收集到 nginx 的通路日志

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

如果有這樣的資料,表明我們的所有配置都是沒有問題的

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

10、接下來我們可以點選檢視檢視 nginx 的通路日志,這樣就不需要登入伺服器檢視通路日志

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務
小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

11、日志服務進階玩法:根據查詢腳本生成報表

請求報表

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

原始腳本

小微企業阿裡雲最佳實踐系列(四):雲監控與 SLS 日志服務

供複制參考

request_uri:/api/* | select request_uri, count(1) count, round(avg(request_time), 2) request, round(avg(response_time),2) response group by request_uri order by count desc limit 10

總結

通過雲監控、日志服務靈活搭配可以創造我們很多想要的功能,這些需要大家深入研究學習和使用,同時也歡迎大家讨論

點選了解更多詳細内容

繼續閱讀