Heterogeneous Image Features Integration via Multi-Modal Semi-Supervised Learning Model
ICCV 2013
本文提出了一種結合多種傳統手工設計 feature 的多模态方法，在 label propagation 的基礎上進行标簽傳遞，進行半監督學習，綜合利用各種 feature 的優勢，自适應的對各種feature 的效果進行權重，即：對于判别性較好的 feature給予較高的權重，較差的 feature 給予較低的權重，然後将整個流程融合在一個架構中進行學習。
關于基于 Graph 的标簽傳遞的基礎知識，請參考具體論文，或者本部落格的博文“Dynamic Label Propagation for Semi-supervised Multi-class Multi-label Classification”。
下面的公式即為所提出的 general 的 framework：
其中，這個公式主要有 3個成分，即：各個feature 所占的權重 $\alpha^{(v)}$，V 是所有feature類别總數，$G^{(v)}$ 是第 v 個特征對應的類别标簽矩陣 (class label matrix)，$G$ 是我們所感興趣的 比較趨于一緻的 類别标簽矩陣。通過求解該公式，同時得到 $G^{(v)}$, $G$, $\alpha^{(v)}$。
由于該架構并非凸的，那麼無法直接對其進行求解，那麼我們要做的就是将其拆分為 3個 步驟，分别進行求解，即：
Step 1: 固定 $G^{(v)}$, $G$, 然後先求解 $\alpha^{(v)}$：
然後這個子問題，就可以利用拉格朗日乘數法進行求解，因為這是一個帶有限制的最小值問題。
然後可以求解得到公式（11），即為各個模态的權重，但是 藍色加深字型，可能是作者筆誤，我認為這裡應該是 $\alpha^{(v)}$才對，因為求得就是這個，不知道為何弄出一個 $a^{(v)}$出來。額。。。
Step 2. 就是固定已經求出的 $\alpha^{(v)}$ 以及 $G$，然後去求解 $G^{(v)}$：
将上述問題轉換為：
可以得到公式（13），即為所求。
Step 3. 固定已經求出的 $\alpha^{(v)}$ 以及 $G^{(v)}$，然後去求解 $G$：
由此可以得到：
疊代的進行上述三個步驟，直至收斂。
最後一步，就是将所得到的标簽向量取最大值，作為對應樣本的标簽，即：
完整的算法流程如下：
本文的實驗部分，做的比較充分，在 4個資料集上進行了驗證。本文所要驗證的主要問題就是，這種方式自适應權重的 feature 組合可以得到更好的标簽傳遞效果。
感受：
今天由于是部落客要做實驗對比，才去搜尋對應的半監督學習論文，然後發現了聶飛平老師的文章，也算是比較老的文章了。我覺得這也給我們做學術的人提供了一個很好的示例，如何做研究。本來 label propagation 是一種經典的算法，那麼如何在别人在算法進行修改的基礎上，做出自己的東西來，額，這個其實看着是大空話，不過還是很有指導意義的。歸納下本文的貢獻點，即：提出一種 general 的半監督學習架構，在傳統方法 label propagation 的基礎上，引入了多種 feature 的思想，對各個feature 的性能進行權重處理，當然求解方法也是經常使用的拆分成子問題的方法來做。
本文給出了 算法的主要 code，但是各種 feature 的提取真是蛋疼，我找了半天才找到一個工具包，但是還是不夠全面，因為文中涉及到多種feature的提取，我覺得作者最好還是将 feature的提取工具放出來比較好，這樣别人在引用您的文章時，也可以很不費勁的進行實驗，然後對比。額。。。
不說了，我去提 feature了 。。。
拜拜 。。。