香港科技大學在讀博士生張鵬博：借鑒師生互動模式來訓練機器學習模型

在學校教學模式中，老師扮演着重要的角色。借鑒老師與學生的師生互動模式，香港科技大學在讀博士生張鵬博在他的論文A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+中提出一種基于LUPI 的 random vector functional-link 網絡（RVFL+），RVFL+不需要太多的計算硬體以及時間，優勢明顯。

在近期雷鋒網 AI研習社的線上分享會上，他為我們詳細解讀了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+這篇論文，介紹了RVFL+和KRVFL+，以及它們的應用。

張鵬博，香港科技大學博士在讀，于工程學院工業工程與物流管理系（即統計與運籌學系）從事機器學習的相關研究工作。他的研究興趣包括機器學習、深度學習、優化、智能系統。 在此之前，他于 2015 年在澳門大學提前獲得研究型碩士，并參與優秀畢業答辯，同時擔任多個期刊和會議的審稿人。

分享内容：

這次為大家帶來我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+，主要是分享我的思路，為什麼這麼做以及具體的應用情況。

我會先介紹這種新型的訓練方式Learning using privileged information(LUPI)與傳統的不同點。然後介紹之前的主要網絡RVLF以及目前流行的随機性算法，之後會介紹新的兩種算法RVFL+和KRVFL+。我也給出了一些實驗來驗證這個方法的表現，還會為大家帶來一些未來的可能應用。

在學習中師生互動模式很重要，Learning using privileged information(LUPI)是在機器學習中借鑒了這種模式，來訓練我們的機器學習模型。

LUPI第一次提出是在2009年的一篇論文裡用來訓練SVM，與傳統學習模式的不同是在訓練階段，傳統的模式由xi和yi組成，xi是指訓練集中的feature，yi是label。新型訓練方式中訓練集中增加了一項，表示額外資訊，類似于學習中老師給我們的資訊一樣。

下面給出了SVM和SVM+這兩種方法的主形式，如果大家熟悉機器學習，那麼SVM的形式應該會很熟悉，SVM+與SVM的不同是多引入了一個參數，如公式所示。

接下來給大家介紹Random vector functional-link網絡，它是一種前饋單層的神經網絡，于1992年提出，示意圖如下所示，隻有一個隐含層。輸入層和輸出層直接相連可以有效防止網絡過拟合。

為什麼RVFL網絡很簡單，但是工作得很好？下圖中是一些解釋文獻。我們希望訓練資料中，同類之間角度小，不同的類之間角度大。RVFL網絡是用混合的模式來訓練所有網絡。

在當今大資料的時代，對于計算的能力要求非常高，這種混合的訓練政策計算花費非常便宜，在未來也是研究的熱點。

簡單介紹幾個目前流行的随機方法：前三個Random projection、Random forests、Bagging是十多年前提出來的，大家對于這三個并不陌生。我會主要介紹随機神經網絡，有興趣的同學可以看下我在最後列出的參考文獻。

接下來為大家介紹新的RVFL+方法，RVFL網絡可以寫成如下所示：

我們引進了LUPI這種新型的訓練方式來訓練我們的RVFL網絡：

下一步建構拉格朗日方程，感興趣的同學可以在論文裡看到如何詳細的得到輸出權重的整個過程。

接下來看一下RVFL+的僞碼，下面是詳細的輸入輸出。

我們不僅提出了RVFL+，也提出了它的kernel版本——KRVFL+，這是為了更好的處理非線性問題。KRVFL+相比于RVFL+有兩個主要的優勢，一是不需要考慮增強節點的個數，二是消除了RVFL+的不穩定性。

感興趣的同行可以在我的論文裡看到KRVFL+的具體方程，在這裡就不具體列出來了，簡單給大家介紹一下KRVFL+的僞碼，如下所示，它與RVFL+比較相似。

現在分析RVFL+的一些統計特征，主要是基于Rademacher複雜性。

現在看實驗，我們在14個資料集上評估了模型的效果，包括1個二項分類資料集，8個多項分類資料集和5個回歸資料集，今天的講座裡我給大家分享二項分類資料集的實驗。

看一下實驗結果，可以看到KRVFL+可以獲得93.71%的準确度，訓練時間隻用了0.005s，在所有模型裡面是最快的。RVFL+雖然相比高斯kernel的準确度不高，但相比線性kernel還是有很明顯的優勢。RVFL+不需要太多的計算硬體以及時間。

RVFL+和KRVFL+有如下實際應用，後期大家可以進行相關探索。 

在此提出感謝：

我的引用文獻如下：

本文作者：Non