這篇文章是之前文章 “機器學習的實踐 - single metric job”的續篇。如果你對 Elastic 的機器學習還是不太了解的話,請參閱之前的文章,并配置好自己的 Elasticsearch 機器。機器學習需要白金版許可。在今天的文章中,我将詳細介紹如何使用機器學習建立一個 multi metric job。
文本作者:劉曉國,Elastic 公司社群布道師。新加坡國立大學碩士,西北工業大學碩士,曾就職于新加坡科技,康柏電腦,通用汽車,愛立信,諾基亞,Linaro,Ubuntu,Vantiq 等企業。
如果你想一站式快速體驗 Elasticsearch 所有功能(免費提供機器學習、 X-pack 能力),開通
阿裡雲 Elasticsearch 1核2G,即可首月免費試用。
Kibana 中的 multi metric job 向導提供了一種使用多個檢測器建立更複雜作業的簡單方法。例如,在單個度量标準作業中,你正在跟蹤總請求與時間的關系。你可能還希望跟蹤其他名額,例如平均響應時間或拒絕請求的最大數量。你可以為多個名額作業合并它們,而不是為每個名額建立作業。
你還可以使用多名額作業,根據分類字段将單個時間序列拆分為多個時間序列。例如,你可以根據資料的主機名,位置或使用者拆分資料。每個時間序列都是獨立模組化的。通過在每個實體的基礎上檢視時間模式,你可能會發現本來可以隐藏在集中視圖中的事物。
從概念上講,你可以将其視為運作許多獨立的單名額作業。但是,通過将它們捆綁在一個多名額作業中,你可以看到該作業中所有名額和所有實體的總體得分和共享影響者。是以,多名額作業比具有許多獨立的單個名額作業更好地擴充,并且當影響者在探測器之間共享時,可以提供更好的結果。
準備資料
在今天的練習中,我們将使用 Elastic 自帶的索引 eCommerce 來做。打開 Kibana:

點選上面的 Add data 按鈕,這樣,我們就完成了資料的導入:
我們在 Elasticsearch 中可以發現一個叫做 kibana_sample_data_ecommerce 的索引
建立 機器學習 multi metric job
打開機器學習應用:
點選 Manage jobs:
點選 Create job:
選擇 kibana_sample_data_ecommerce 索引:
在這裡,我們選擇 Multi metric。正如上面描述的那樣,multi metric 通過按類别字段劃分時間序列來檢測多名額中的異常。
我們選擇使用整個索引的資料。點選 Next 按鈕:
我們選擇 High sum(taxful_total_price):
接下來,我們把分析通過 customer_full_name 來進行分别分析。同時,我們也選擇 customer_full_name 及 category 來檢視我們選擇的這些 influencer 有多少是對我們的結果有影響的,影響的程度是什麼樣的。
點選上面的 Next 按鈕:
我們把這個機器學習的任務取一個名字叫做 multi_metric_job。點選 Next 按鈕:
上面顯示,我們的建立是成功的。點選 Next 按鈕:
在上面,我們可以看出來針對每個客戶進行分析。點選 Create job 按鈕:
等機器學習完成之後,我們點選 View results 按鈕:
在上面,我們看出來一些異常。在上面,我們可以看到一些藍色和黃色的長方形塊。按照我們之前的描述:
Warning (blue): 分數低于25
Minor (yellow): 分數介于25和50之間
Major (orange): 分數介于50和75之間
Critical (red): 分數介于75和100之間
在上面,它顯示了整個客戶的異常情況,在下面也分别分析了各個客戶的異常情況。
我們也可以按照之前選擇的 category influencer 來檢視每個 category 的影響:
我們的異常藍色表示異常分數低于25分,而黃色的異常分數介于25-50之間。是 Warning 和 Minor 級别的異常。
向下滾動,我們可以檢視異常的詳細情況。點選 July 5th 2020 那個異常:
上面标明,這個叫做 Stephanie Baker 的客戶,按照正常的分析,他會在 July 5th, 2020 會花錢 0.152,可是他事實上什麼也沒有花。這個和他的平常的習慣不一樣。是有什麼事情發生嗎?
在左邊,我們可以檢視到 top 10 的 influencer:
因為這個是一個 multi metric job,我們也可以把它分解成為每一個 single metric job 那樣進行檢視:
點選 Single Metric Viewer:
好了,今天就先展示到這裡。希望通過這個練習大家知道如何通過機器學習來分析資料的異常。
聲明:
本文版權歸作者所有,未經許可不得擅自轉載或引用。
【
阿裡雲Elastic Stack】100%相容開源ES,獨有9大能力,提供免費 X-pack服務(單節點價值$6000)
相關活動
更多折扣活動,請
通路阿裡雲 Elasticsearch 官網 阿裡雲 Elasticsearch 商業通用版,1核2G ,SSD 20G首月免費 阿裡雲 Logstash 2核4G首月免費 下載下傳白皮書:Elasticsearch 八大經典場景應用