天天看點

ICA算法

一、盲信号處理(blind signal processing)

   在系統的傳輸特性未知條件下,從系統的輸出信号估計系統的輸入信号和系統的傳輸特性 

ICA算法

基本問題表述:已知多輸入多輸出的非線性動态系統的輸出信号x(t),要找到一個穩定的逆系統(重構系統),以估計出原始的源信号s(t);也即是說估計的y(t)要盡可能的和源信号誤差最小。

上述模型:x(t)=f(s(t),v(t))  

                    y(t)=g(x(t))

此式f、g是一種非線性變換!非線性系統求解是信号領域研究的難點所在!

目前絕大多數的盲信号處理研究限制線上性混合系統的情況。如下的模型:

(1)混合系統是線性即時混合系統,噪聲為加性噪聲

      x(t)=As(t)+v(t)   

其中    x(t)為觀測信号,A為混合矩陣(假設與時間無關),s(t)源信号 ,v(t)為噪聲

上述x(t)求解s(t)過程稱為盲信号分離

(2) 混合系統是卷積系統,噪聲為加性噪聲

x(t)=H(t)*s(t)+v(t)

其中H(t)為傳輸函數矩陣;*為卷積

上述由x(t)求解s(t)的過程為盲解卷(blind deconvolution);x(t)求解H(t)過程為盲辨識(blind identification);x(t)求解H(t)的逆H^-1(t),使得H(t)*H^-1(t)=I的過程為盲均衡(blind equalization)

(在盲信号處理的一般模型下這4個都歸為盲信号分離架構)

應用(目的):

(1)語音:雞尾酒會問題:人的大腦可以在多人說話或者嘈雜的環境中有選擇性的接收他感興趣的說話人的語音;

(2)語音信号盲分離(說話人數(源信号)大于錄音器個數(觀測信号))

(3)生物醫學:從體表ECG提取房顫資訊

(4)圖像領域

盲分離算法的種類:

主線:盲分離的準則、搜尋算法、可分離性

二、ICA(Independent Component Analysis)算法:

2.1原理:

在盲分離信号中假設無任何假設條件和先驗知識,僅僅由觀測信号确定源信号或者混合系統,在數學原理上很難做到的。

而ICA是:假設條件:源信号矢量s的各個分量之間是互相統計獨立;允許一定的模糊性(信号的幅值和信号分量的順序不确定性);在此情況下盲分離是可解的;這也就是ICA為什麼叫做獨立分量分析的原因。

   模型:x=As  相比上述的盲分離的差別是忽略噪聲

假設條件具體為:

(1)源信号矢量s的各分量si之間是統計獨立的

(2)源信号矢量最多隻有一個分量為高斯随機變量(因為非高斯性越強則信号源的獨立性越好)

(3)混合矩陣是适定的(m=n)

可以找到一個線性變換y=Bx   (y為估計信号,x為觀測信号,也即是說通過混合矩陣使得由x估計出y)使得y=Cs (y為估計信号,s為源信号,C為一個非零矩陣也就是說估計的信号和源信号各分量的排列順序和尺度因子可能不同,但是信号和某個si波形是相同的)

2.2算法架構:

主線:盲分離的準則、搜尋算法、可分離性

架構:可分離性定理->分離準則->搜尋算法

(1)盲分離準則 

  最大似然函數、informax(資訊最大化)、最小互資訊、最大峭度絕對值準則

(2)盲信号分離搜尋算法

  自然梯度算法、相對梯度算法、快速不動點算法

(3)可分性定理

分離系統輸出應滿足的條件以及源分量應滿足的條件稱為稱為分離準則。

包含資料模型和對先驗資訊的假設

fastICA是對搜尋算法的改進!改進之處在于:改善了傳統梯度的收斂速度

2.3可分性定理:1、在m路觀測信号的欠定情況下,要将觀測信号分離出m組信号,混合矩陣A的秩必須為m

2、能分離出的信号分量個數等于混合矩陣獨立矢量的個數,獨立矢量的每一個都獨立于其它n-1個

2.4分離準則:

選擇目标函數,依據什麼準則?

1、最大似然:

ICA算法

使得目标函數:求對數似然函數的最大時的B值

2、informax準則(information maximization)

ICA算法

觀測信号為x,輸出為y,目标函數為

ICA算法

,網絡權重系數bi

sigmoid函數

ICA算法

調節解混矩陣B的列向量使得輸出矢量y的熵最大(資訊最大化)

目标函數:求目标函數最大式的B值

ICA算法

3.最小互資訊準則

ICA算法

也即是當輸出矢量yi的互資訊最小時,也即是I(y)最小時,yi各分量的獨立性最強

ICA算法

目标函數:其中B為解混矩陣,也即是要求目标函數最大時的B值。

ICA算法

4.最大峭度絕對值準則

ICA算法

目标函數:

對觀測資料白化處理後的自相關函數為機關矩陣,再用白化後的處理進行盲分離

具體為:從源信号s的限制性考慮轉化為觀測信号x的限制性問題

ICA算法
ICA算法

2.4盲分離搜尋算法:

1.自然梯度

黎曼

2.相對梯度

泰勒級數展開+近似(高階項不考慮)

3.快速不動點

拉格朗日乘子法

可參考自然梯度、一般梯度、随機梯度、相對梯度差別什麼是一般梯度、相對梯度、自然梯度和随機梯度? - 知乎

2.5算法的優缺點:

實作信号的盲分離

缺點是:信号分量的分離順序不一緻或者是幅值和源信号不一緻

在假設性條件不滿足情況下,算法可能不适用

數學推導過程

需要的數學知識:

【1】ICA(獨立成分分析)在信号盲源分離中的應用 ICA(獨立成分分析)在信号盲源分離中的應用_Richard-Cai的部落格-CSDN部落格_ica盲源分離

 【2】盲信号分離及在心電和語音信号處理上的應用  百度安全驗證

繼續閱讀