概述
資料加工主要解決使用者規整資料的痛點以及進一步挖掘資料價值, 降低時間與人力成本, 另一方面, 在某些情況下, 合理配置也可以節約一定财務費用. 本文進一步介紹了如何以較優的成本方式使用資料加工.
典型配置
根據資料加工的
原理和
性能指南介紹了如何規劃日志服務的源logstore與目标logstore. 一般推薦的做法是簡化采集方案, 使用一個或多個logstore快速接入資料, 然後使用資料加工進行快速分發, 并根據使用者需求配置不同目标logstore的存儲時間以及索引配置. 例如
SLB通路日志加工分發案例.
成本優化
成本要素
參考日志服務的
計費方式, 可以了解到日志服務的主要成本由以下幾個主要因素決定:
- 每日導入的資料量
- 資料存儲的時間
- 是否建立索引
案例1 - 優化存儲結構
假設客戶持續采集K8S的通路日志, 每天寫入100GB原始日志, 存儲30天, 并建立全索引, 那麼日志服務的成本大約是2248元/每月.
假設使用者更關心的是其中某一類POD的日志, 例如使用者記錄檔與出錯日志. 那麼這類日志的比例假設是20%, 且希望存儲30天, 對于其他的日志, 隻需要存儲7天即可. 則可以如下安排:
- 建構接入源logstore: 存儲3天, 不建立索引
- 建構目标logstore1, 存儲30天, 建立索引. 用于存儲使用者記錄檔與出錯日志.
- 建構目标logstore2, 存儲7天, 建立索引. 用于存儲一般性日志.
這種情況下, 客戶的成本大約是1672元/每月, 節約成本大約25%
如果使用者原始存儲日志是60天, 通過資料加工隻将關心的20%日志存儲60天, 其他存儲7天的話, 成本可以節約大約39% (3226元/每月變成2000元/每月)
案例2 - 優化存儲内容
假設客戶持續采集某類應用日志, 每天寫入100GB原始日志, 存儲30天, 并建立全索引, 那麼日志服務的成本大約是2248元/每月.
假設後面例子中原始日志字段有些備援, 使用者更關心的其中某些字段, 例如經過資料加工優化每條日志的原來大小的60%, 且繼續存儲30天,則可以如下安排:
- 建構目标logstore, 存儲30天, 建立索引. 用于存儲使用者記錄檔與出錯日志.
這種情況下, 客戶的成本大約是1579元/每月, 節約成本大約30%.
源logstore是一個NGNIX通路與解析日志, 大小1021 Bytes, 加工後變成618 Bytes:
__source__: 1.2.3.4
__topic__: ddos_access_log
body_bytes_sent: 3866
cc_action: none
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.dbb.mock-domain.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.cbc.mock-domain.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36
http_x_forwarded_for: 105.120.151.10
https: true
isp_line: BGP
matched_host: www.cbd.mock-host.com
method: GET
real_client_ip: 105.120.160.17
remote_addr: 105.120.160.0
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.bd.mock-host.com
status: 502
time: 2019-07-22T17:40:26+08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 106.120.157.15:80
upstream_ip: 109.120.152.11
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5 經過資料加工後得到:
__source__: 1.2.3.4
__topic__: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.dbb.mock-domain.com
http_referer: http://www.cbc.mock-domain.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 105.120.151.10
matched_host: www.cbd.mock-host.com
method: GET
real_client_ip: 105.120.160.17
request_length: 2946
request_uri: /request/nvwlvvkhw
status: 502
upstream_addr: 106.120.157.15:80
upstream_ip: 109.120.152.11
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5 進一步參考
歡迎掃碼加入官方釘釘群獲得實時更新與阿裡雲工程師的及時直接的支援: