簡介
日志服務（Log Service，簡稱 SLS）是針對日志類資料的一站式服務，在阿裡巴巴集團經曆大量大資料場景錘煉而成。您無需開發就能快捷完成日志資料采集、消費、投遞以及查詢分析等功能，提升運維、營運效率，建立 DT 時代海量日志處理能力。
将MaxCompute 中的資料導入到日志服務，利用日志服務的查詢和可視化功能，對資料進行分析和可視化展示，使用資料加工對資料進一步處理，充分發掘資料的價值。
日志服務提供的資料導入功能，支援從OSS，MaxCompute，Kafka等資料源同步資料。使用資料導入同步資料具備如下的優勢：
- 配置簡單，使用者僅需在日志服務控制台完成簡單配置即可實作導入。
- 導入服務完全由日志服務托管，無需運維。
- 支援動态水準擴充，根據使用者的資料量自動配置設定資源，實作快速導入。
日志服務基本概念
- 日志：日志服務中處理的最小資料單元，每行日志包含日志發生時間和一組key-value 均為字元串格式的字段清單。
- 項目（Project）：日志服務中的資源管理單元，用于資源隔離和控制，管理着使用者的所有日志庫等資源。
- 日志庫（Logstore）：日志資料的采集、存儲和查詢單元。每個日志庫屬于一個項目，且每個項目可以建立多個日志庫。
MaxCompute 介紹
大資料計算服務（MaxCompute，原名ODPS）是一種快速、完全托管的EB級資料倉庫解決方案。
MaxCompute 基本概念
- 項目（Project）：類似于傳統資料庫的Database的概念，是進行多使用者隔離和通路控制的主要邊界。
- 表（Table）：表是MaxCompute的資料存儲單元，是由行和列組成的二維結構，每行代表一條記錄，每清單示相同資料類型的一個字段，一條記錄可以包含一個或多個列。
導入步驟
環境準備
- 準備需要導入的MaxCompute Project和Table，以及能夠通路該Table的Access Key。
- 已經開通日志服務，并且已經建立好Project，Logstore和索引。
源資料預覽
假設使用者資料存儲在 access_log 這個表裡，其字段包括了String，Int，Double等類型。
配置導入任務
1 進入日志服務控制台首頁，接入資料選擇 MaxCompute 資料源
2 選擇導入目标Project和Logstore
如果還沒有建立Project和Logstore，可以從右側立即建立入口建立。需要确認導入任務開始之前目标Logstore已經配置了合适的索引。
3 配置通路MaxCompute必需的資訊，支援預覽資料
參數說明
| 參數 | 說明 |
|---|---|
| 配置名稱 | 導入配置的名稱。 |
| MaxCompute項目 | 待導入資料所在的MaxCompute項目名稱。 |
| Table | 待導入資料所在的表名稱。 |
| 分區描述 | 如果待導入的表是分區表，需要指定分許描述。分區參考 https://help.aliyun.com/document_detail/27820.html |
| AccessKey ID | 通路MaxCompute的AccessKey ID。 |
| AccessKey Secret | 通路MaxCompute的AccessKey Secret。 |
| Endpoint | 通路MaxCompute的Endpoint。Endpoint配置可以參考文檔： https://help.aliyun.com/document_detail/34951.html |
| Tunnel Endpoint | 通路MaxCompute的Tunnel Endpoint。 |
3 配置時間解析方式
預設使用系統時間時間作為資料時間，使用者也可以使用MaxCompute 表中的字段作為資料的時間
4 配置排程間隔
日式服務根據配置的導入間隔定時執行增量導入任務。
導入結果預覽
MaxCompute表中的每行資料自動轉化為一行日志資料。每列作為日志中的一個字段，列名作為日志的字段名稱。各個字段類型映射為日志類型的規則如下：
| MaxCompute類型 | 日志字段類型 |
|---|---|
| Map,Array,Struct | JSON string |
| 其他類型 | String |
導入任務管理
建立導入任務後，日志服務自動建立用于存放導入任務診斷日志的Logstore（internal-diagnostic_log）和統計報表。導入異常時可以在診斷Logstore中檢視異常原因。
更多資源
MaxCompute介紹：
https://help.aliyun.com/document_detail/27800.html日志服務介紹：
https://help.aliyun.com/document_detail/48869.htmlMaxCompute導入使用文檔：
https://help.aliyun.com/document_detail/153354.html聯系我們
如有任何問題也可以釘釘掃碼進群聯系我們或者關注我們的微信公衆号：