天天看點

特征選擇:最大資訊系數(MIC;Maximal Information Coefficient)【用于衡量兩個變量X和Y之間的關聯程度,線性或非線性的強度,常用于機器學習的特征選擇】一、概念

一、概念

1.1 MIC

MIC,即(Maximal Information Coefficient)最大資訊系數,屬于Maximal Information-based Nonparametric Exploration (MINE) 最大的基于資訊的非參數性探索,用于衡量兩個變量X和Y之間的關聯程度,線性或非線性的強度,常用于機器學習的特征選擇。

MIC相較于Mutual Information(MI)互資訊而言有更高的準确度,是一種優秀的資料關聯性的計算方式。
           

1.2 互資訊

互資訊(Mutual Information)是資訊論裡一種有用的資訊度量,它可以看成是一個随機變量中包含的關于另一個随機變量的資訊量,或者說是一個随機變量由于已知另一個随機變量而減少的不肯定性。這個已經是機器學習中老生常談的内容了,如果想不起來,請參考百度百科-互資訊。

參考資料:

MIC:最大資訊系數

繼續閱讀