天天看點

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

(eta: 20 分鐘)

掌握阿裡雲日志服務基本功能

成功收集docker中日志,利用emr(spark streaming,hive)進行日志分析

産品基本介紹(連結)

注意事項:

日志服務目前免費使用,無耗費

docker運作叢集會産生費用

logtail是linux、windows用戶端,無需代碼就能便捷完成日志收集工作,下面我們會示範如何收集docker中wordpress日志資料。

收集wordpress通路日志,打開日志服務控制台,點選右上角"建立項目",在這裡我們可以建立yunqi-wordpress項目。當名字被占用後,請更換一個項目名

在項目下建立日志庫(logstore),例如: wordpress-accesslog

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

日志服務提供兩種方式進行日志收集:通過api或agent(logtail),這裡我們示範用戶端的流程

選擇linux伺服器

我們的日志位于"/var/log/wordpress.log",是以分别填寫父目錄,以及日志檔案路徑

父目錄: /var/log

檔案路徑:wordpress.log

在伺服器中添加wordpress中通路日志,可以點選常見樣例中的__示例四:wordpress預設日志格式__進行參考。wordpress通路日志如下:

點選生成行首正規表達式

行首正規表達式為了區分換行部分屬于本行、還是換行日志,例如我們認為以ip開頭的是獨立的日志

指定日志解析正規表達式。logtail 提供本地結構化功能,使用者可以生成在用戶端對日志進行切分。如果不需要,也可将整條日志作為一個key、value進行切分

通過正規表達式将文本進行切分,在收集端對日志進行切分對于格式固定的日志,能夠減少後期分析的代價,使用者也可以将整條日志一并發送到server端進行處理。可以在剛才打開的常見樣例中的__示例四:wordpress預設日志格式__直接複制。

對每一個切分單元提供标簽,例如

__注意__:key清單中需要包含__time__字段,以讓系統識别日中中時間

配置完成後,需要添加機器組,并應用配置使得收集生效

建立一個機器組“wordpress-group",填寫需要收集日志機器内網ip至機器組

内網ip擷取方法:打開容器服務控制台,叢集->叢集名稱/id->配置資訊->内網ip

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

大功告成!一分鐘内日志收集配置就會生效,開始收集實時日志資料

__提示__:可以通過項目中"機器組管理" 檢視狀态,以驗證是否生效。如果狀态是fail,請根據提示排查

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

點選"日志消費"->"預覽"既可以順序浏覽指定shard中日志資料。

為了加快日志産生速度,我們可以嘗試在wordpress中發帖,回複,浏覽等以産生通路日志
201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

日志服務與多個下遊産品進行內建,可以實時、離線、批量消費日志資料。以下我們示範實時分析、以及查詢兩個場景。

實時消費: 我們啟動dashboard應用示範對部落格日志實時分析效果

打開容器服務控制台,選擇編排模闆->yunqi-wordpress-view->建立應用。

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

2.選擇建立名為"yunqi-wordpress-view-default"應用,部署在"yunqi-test"叢集中

3.點選菜單中的服務, "wordpress-view", 通路端點打開應用

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

4.該應用通過實時讀取日志服務中的日志,統計部落格通路情況,各參數如下:

logservice服務位址: http://cn-hangzhou.sls.aliyuncs.com/ (預設無需修改)

accesskeyid/accesskey: 在ak頁面上可以獲得

project/logstore:收集wordpress通路日志的project, logstore

5.點選重新整理、發表一些部落格,看看日志實時分析的結果:

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

日志查詢: logsearch提供了對日志索引,支援基于關鍵詞的查詢。

回到project,對wordpress-accesslog日志庫__日志消費模式__下__日志索引__點選建立,對需要查詢的字段建立索引

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

一分鐘内配置生效,既可進行日志查詢

201601上海雲栖大會Workshop - 通過日志服務采集、分析日志通過日志服務采集、分析日志

離線消費

日志服務可以将日志投遞至oss、odps進行離線計算,感興趣可以點選日志投遞進行了解

日志服務:針對日志垂直場景的一站式服務,在阿裡巴巴集團内部被廣泛使用,參見介紹頁面

項目(project) : 每個項目具有唯一的位址和名字,提供唯一的通路位址

日志庫(logstore) :

日志庫是日志管理單元,在項目下唯一。例如應用有access-log, click-log, error-log等三種日志,我們就可以建立三個logstore。

日志庫提供48小時臨時存儲,使用者可以實時消費48小時内任意區間的日志檔案,如果需要更長時間存儲,可以投遞到oss、odps,或建立索引進行查詢

logtail:收集日志用戶端,參考

除杭州外其他region需要修改地方:

wordpress資源編排模闆environment:- log_region=cn_hangzhou,改為對應region,如cn_shenzhen

實時消費程式logservice服務位址: http://cn-hangzhou.sls.aliyuncs.com/ 改為對應region,如 http://cn-shenzhen.sls.aliyuncs.com/

繼續閱讀