1. 基本形式
線性模型的優點：，
- 形式簡單，易于模組化。
- 蘊含着機器學習中一些重要思想。許多功能更為強大的非線性模型，可線上性模型的基礎上通過引入層級結構或高維映射得到。
- 良好的可解釋性：w直覺地表達了各屬性在預測中的重要性，使得其具有很好的解釋性。權重越大，代表該屬性的重要程度越高。
2. 線性回歸
linear regression，LR。
當輸出值為實數取值時，LR試圖學習一個線性模型，盡可能準确的預測實值輸出值。
對離散屬性，若屬性值存在“序”的關系，可通過連續化将其轉化為連續值。如高度的高、中、低可轉化為{1.0, 0.5, 0.0}。
若屬性值不存在序關系，連續化會不恰當，對後續距離計算造成誤導。如瓜類的取值有黃瓜，南瓜，西瓜，就不可連續化。此時可通過one-hot編碼：轉化為（0,0,1）（0,1,0）（1,0,0）。
學習政策：極小化模型預測輸出和真實值之間的差距。回歸任務最常用的是均方誤差/平方損失。
均方誤差的幾何意義：對應了常用的歐氏距離。最小化均方誤差，試圖找到一條直線，讓所有樣本到直線上的歐氏距離之和最小。
基于均方誤差最小化來進行模型求解的方法：最小二乘法（least square method）。
求解過程，稱為線性回歸模型的最小二乘參數估計。當x隻有1維時（w自然隻有一維），對w和b求導，得到：
令偏導為0則得到最優解的閉式解/解析解：
當x由d個屬性描述時，試圖學得：
此時稱為多元線性回歸。
有：
對其求導有：
當 XTX 為滿秩矩陣或正定矩陣時，令上式為0則有：
現實任務中 XTX 往往不是滿秩矩陣，可能解出多個解。選擇哪個解，由學習算法的歸納偏好決定。常見的做法是引入正則化。
線性模型雖然簡單，但變化豐富。
可否令模型預測值逼近y的衍生物呢？比如可将輸出标記的對數作為線性模型逼近的目标。
此即為對數線性回歸（log-linear regression）。實際上是用
逼近y。
形式上仍是線性模型，但實際上在求取輸入空間到輸出空間的非線性映射。對數函數的作用：将線性模型的預測值與真實标記聯系起來。
更一般的，考慮單調可微函數g(·)：
這就是廣義線性模型。g(·)為聯系函數。實際上先求出線性模型的值，再通過聯系函數映射到非線性。