浅谈凸优化中的共轭函数

函数 f 的共轭定义：

f∗(y)=sup(yTx−f(x)), x∈domf

可见，共轭函数是线性函数 yTx 和原始函数 f(x) 的最大gap。

写成优化问题形式

maxxyTx−f(x)x∈domf

令 g(x)=yTx−f(x) ,计算 g′(x)=y−f′(x) ，在 y=f′(x) 处取得极值，然后根据 g(x) 的形式判断是极大值还是极小值。若为极大值则记为所求，若为极小值，共轭函数不存在。

可见如果 f 是可微的，满足f^'(x) = y

下面推导一个共轭函数的例子：

负熵函数： f(x)=xlog(x) ， x∈R+,f(0)=0 ，共轭函数

f∗(y)=supyx−xlog(x) , 在 y=log(x)+1 取最大值，即 x=ey−1 ，因此, f∗(y)=ey−1 .