【大資料新手上路】“零基礎”系列課程--日志服務（Log Service）采集 ECS 日志資料到 MaxCompute實驗目的和前期說明實驗前的準備工作通過 Logtail 實時采集日志MaxCompute 目标表準備投遞日志到 MaxCompute

随着公司業務的增多，雲伺服器 ecs 上的日志資料越來越多，存儲開銷越來越大，受限于日志的大小和格式，分析的速度非常緩慢，導緻海量資料在沉睡，不知道發揮作用，如何能将這些資料進行歸集、提煉和智能化的處理始終是一個困擾。通過日志服務投遞日志資料到maxcompute便可以讓使用者按照不同的場景和需求、以不同的方式複用資料，充分發揮日志資料的價值。

使用日志服務投遞日志資料到maxcompute具有如下優勢：

使用非常簡單。使用者隻需要完成2步配置即可以把日志服務logstore的日志資料遷移到maxcompute中。

避免重複收集工作。由于日志服務的日志收集過程已經完成不同機器上的日志集中化，無需重複在不同機器上收集一遍日志資料後再導入到maxcompute。

充分複用日志服務内的日志分類管理工作。使用者可讓日志服務中不同類型的日志（存在不同logstore中）、不同project的日志自動投遞到不同的maxcompute表格，友善管理及分析maxcompute内的日志資料。

備注：大部分情況下日志資料在寫入logstore後的0.5~1個小時導入到maxcompute，使用者可以在控制台“投遞任務管理”檢視導入狀态。導入成功後使用者即可在maxcompute内檢視到相關日志資料。

下面介紹一個适用于中小企業使用者，高效率低成本的日志采集存儲方案：

對于雲伺服器 ecs 上的日志，可以通過日志服務進行收集，然後投遞至 maxcompute 進行存儲與分析，流程圖如下：

實驗目的：

通過 log service 采集 ecs 日志并投遞到 maxcompute 上。

前期說明：

使用者擁有阿裡雲官網實名認證賬号，并且建立好賬号 access key ；

使用者擁有一定的開發經驗。

3 . 單擊頁面右側下方的 立即購買，确認訂單并付款 。

連接配接 windows 執行個體

連接配接 windows 執行個體的方式有三種：遠端桌面連接配接、管理控制台連接配接和手機連接配接，本教程以遠端桌面連接配接作為示例，具體操作如下：

1 . 單擊 開始 圖示 > 遠端桌面連接配接；

2 . 在 遠端桌面連接配接 對話框中，輸入執行個體的公網 ip 位址，單擊 顯示選項；

3 . 輸入使用者名，預設為 administrator，如果您希望以後連接配接時不再手動輸入密碼，可以勾選 允許我儲存憑據 。如果不需要再做其它設定，可以直接單擊 連接配接按鈕；

4 . 單擊 本地資源 頁籤進行設定，選擇 剪貼闆 後，點選 詳細資訊，選擇 驅動器，然後選擇檔案存放的盤符 。如下圖所示：

備注：通過以上設定可以友善地将本地檔案拷貝到執行個體中 。

準備離線日志檔案

在 ecs 伺服器中建立日志檔案，舉例一條資料如下：

備注： 2 . 日志左側的 ip、status、thread、time、url、user-agent 等是日志服務資料的字段名稱，需在下方配置中用到。

準備密鑰對

建立項目

注意：項目名稱建立後不能修改 。

2 . 單擊右上角的 建立 project；

3 . 填寫 project 名稱 和 所屬地域，單擊 确認 。

建立日志庫

建立完項目後，系統會提示您建立日志庫，單擊 建立，配置如下圖所示：

1 . 下載下傳安裝包

2 . 按機器網絡環境和日志服務所在 region 進行安裝

解壓縮 <code>logtail.zip</code> 到目前目錄，以管理者身份運作 cmd 進入 <code>logtail_installer</code> 目錄 ，輸入安裝指令 <code>logtail_installer.exe install cn_beijing</code> 進行安裝，如下圖所示：

建立完 logstore 後，系統會提示您建立 logtail 配置收集日志資料，點選 建立 logtail 配置；

選擇資料源，如下圖所示：

指定日志的目錄結構

注意：一個檔案隻能被一個配置收集 。

指定收集模式為分隔符模式

輸入日志樣例；

選擇分隔符為 制表符；

為提取字段命名（設定對于字段的 key）；

設定使用系統時間；

根據自身需求設定進階選項（可選）。

設定完成後，單擊 下一步 。

勾選需要的機器組并單擊 應用到機器組 。

如果您未建立機器組，需單擊頁面中的 建立機器組 進行建立，如圖所示：

完成上述配置後，日志服務即可收集日志 。您可在 logstore 清單 頁面，選擇要檢視的日志庫并單擊日志消費列下的 預覽 進行檢視，如下圖所示：

maxcompute 列名

maxcompute 列類型

日志服務字段名

日志服務字段類型

log_source

string

_source_

系統保留字段

log_time

_time_

log_topic

_topic_

time

日志内容字段

ip

thread

log_extract_others

_extract_others_

log_partition_time

_partition_time__

status

2 . 建立項目 。進入控制台頁面後導航至 大資料開發套件-&gt;項目清單，點選 建立項目，如圖所示：

在彈出框中選擇 i/o 後付費的付費方式，輸入項目名稱：

建立完項目後，點選項目清單下對應項目操作欄中的 進入工作區，進入資料開發頁面，如下圖所示：

建立腳本檔案 。點選上圖中的“建立腳本”任務框，編輯建表語句，如下所示：

點選運作，确認建表成功 。

開啟投遞後跳轉至 loghub —— 資料投遞 頁面，在該頁面需要配置投遞大資料計算服務 maxcompute（原 odps）的相關内容：

任務投遞狀态顯示為 成功 後，可進入大資料開發套件管理控制台，查詢 maxcompute 表中是否有資料寫入，如下圖所示：

通過以上操作将雲伺服器 ecs 的日志成功投遞到 maxcompute 後，您還可以對日志資料進行分析與應用，詳情請參見以下文章：