天天看點

凸集、凸函數、凸優化問題

機器學習中,經常會用到凸集、凸函數、凸優化問題。

這裡對這些概念進行介紹,簡單介紹其關系。

凸集:如果集合A中任意兩個元素的連線上的點也在集合内,則為凸集。見下圖。

凸集、凸函數、凸優化問題

凸函數:函數任意兩點連線上的值大于對應對應自變量出的函數值,則為凸函數。見下圖。

凸集、凸函數、凸優化問題

凸優化:目标函數是凸函數,變量集合屬于凸集,則可以用凸優化處理問題。或者目标函數是凸函數,變量集合的限制函數是凸集合,則也可以用凸優化處理問題。

凸優化問題有一個重要的結論:凸優化問題的局部最優解,就是全局最優解。

常見的凸優化問題:

線性規劃:linear programming

二次線性規劃:quadratic programming

二次限制二次規劃:quadratic contrained programming

參考文章

1、http://www.cnblogs.com/tornadomeet/p/3300132.html

2、http://blog.csdn.net/chlele0105/article/details/12238839

繼續閱讀