淺談凸優化中的共轭函數

函數 f 的共轭定義：

f∗(y)=sup(yTx−f(x)), x∈domf

可見，共轭函數是線性函數 yTx 和原始函數 f(x) 的最大gap。

寫成優化問題形式

maxxyTx−f(x)x∈domf

令 g(x)=yTx−f(x) ,計算 g′(x)=y−f′(x) ，在 y=f′(x) 處取得極值，然後根據 g(x) 的形式判斷是極大值還是極小值。若為極大值則記為所求，若為極小值，共轭函數不存在。

可見如果 f 是可微的，滿足f^'(x) = y

下面推導一個共轭函數的例子：

負熵函數： f(x)=xlog(x) ， x∈R+,f(0)=0 ，共轭函數

f∗(y)=supyx−xlog(x) , 在 y=log(x)+1 取最大值，即 x=ey−1 ，是以, f∗(y)=ey−1 .