回歸分析技術是一種非常重要的資料分析方法，有着廣泛的應用，能夠解決目标變量為連續的預測分析問題。
什麼是回歸分析?
回歸分析是一種預測性的模組化技術，它研究的是因變量(目标)和自變量(預測器)之間的關系。這種技術通常用于預測分析，時間序列模型以及發現變量之間的因果關系。例如，司機的魯莽駕駛與道路交通事故數量之間的關系，最好的研究方法就是回歸。
回歸分析是模組化和分析資料的重要工具。在這裡，我們使用曲線/線來拟合這些資料點，在這種方式下，從曲線或線到資料點的距離差異最小。我會在接下來的部分詳細解釋這一點。
我們為什麼使用回歸分析?
如上所述，回歸分析估計了兩個或多個變量之間的關系。下面，讓我們舉一個簡單的例子來了解它：
比如說，在目前的經濟條件下，你要估計一家公司的銷售額增長情況。現在，你有公司最新的資料，這些資料顯示出銷售額增長大約是經濟增長的2.5倍。那麼使用回歸分析，我們就可以根據目前和過去的資訊來預測未來公司的銷售情況。
使用回歸分析的好處良多。具體如下：
它表明自變量和因變量之間的顯著關系;
它表明多個自變量對一個因變量的影響強度。
回歸分析也允許我們去比較那些衡量不同尺度的變量之間的互相影響，如價格變動與促銷活動數量之間聯系。這些有利于幫助市場研究人員，資料分析人員以及資料科學家排除并估計出一組最佳的變量，用來建構預測模型。
我們有多少種回歸技術?
有各種各樣的回歸技術用于預測。這些技術主要有三個度量(自變量的個數，因變量的類型以及回歸線的形狀)。我們将在下面的部分詳細讨論它們。
對于那些有創意的人，如果你覺得有必要使用上面這些參數的一個組合，你甚至可以創造出一個沒有被使用過的回歸模型。但在你開始之前，先了解如下最常用的回歸方法：
1.linear regression線性回歸
它是最為人熟知的模組化技術之一。線性回歸通常是人們在學習預測模型時首選的技術之一。在這種技術中，因變量是連續的，自變量可以是連續的也可以是離散的，回歸線的性質是線性的。
線性回歸使用最佳的拟合直線(也就是回歸線)在因變量(y)和一個或多個自變量(x)之間建立一種關系。
用一個方程式來表示它，即y=a+b*x+e，其中a表示截距，b表示直線的斜率，e是誤差項。這個方程可以根據給定的預測變量(x)來預測目标變量的值。
一進制線性回歸和多元線性回歸的差別在于，多元線性回歸有(>1)個自變量，而一進制線性回歸通常隻有1個自變量。現在的問題是“我們如何得到一個最佳的拟合線呢?”。
如何獲得最佳拟合線(a和b的值)?
這個問題可以使用最小二乘法輕松地完成。最小二乘法也是用于拟合回歸線最常用的方法。對于觀測資料，它通過最小化每個資料點到線的垂直偏差平方和來計算最佳拟合線。因為在相加時，偏差先平方，是以正值和負值沒有抵消。
我們可以使用r-square名額來評估模型性能。想了解這些名額的詳細資訊，可以閱讀：模型性能名額part 1,part 2.
要點：1.自變量與因變量之間必須有線性關系 2.多元回歸存在多重共線性，自相關性和異方差性。 3.線性回歸對異常值非常敏感。它會嚴重影響回歸線，最終影響預測值。 4.多重共線性會增加系數估計值的方差，使得在模型輕微變化下，估計非常敏感。結果就是系數估計值不穩定 5.在多個自變量的情況下，我們可以使用向前選擇法，向後剔除法和逐漸篩選法來選擇最重要的自變量。
2.logistic regression邏輯回歸
邏輯回歸是用來計算“事件=success”和“事件=failure”的機率。當因變量的類型屬于二進制(1 / 0，真/假，是/否)變量時，我們就應該使用邏輯回歸。這裡，y的值從0到1，它可以用下方程表示。 odds= p/ (1-p) = probability of event occurrence / probability of not event occurrenceln(odds) = ln(p/(1-p))logit(p) = ln(p/(1-p)) = b0+b1x1+b2x2+b3x3....+bkxk
上述式子中，p表述具有某個特征的機率。你應該會問這樣一個問題：“我們為什麼要在公式中使用對數log呢?”。
因為在這裡我們使用的是的二項分布(因變量)，我們需要選擇一個對于這個分布最佳的連結函數。它就是logit函數。在上述方程中，通過觀測樣本的極大似然估計值來選擇參數，而不是最小化平方和誤差(如在普通回歸使用的)。
要點：1.它廣泛的用于分類問題。 2.邏輯回歸不要求自變量和因變量是線性關系。它可以處理各種類型的關系，因為它對預測的相對風險指數or使用了一個非線性的log轉換。 3.為了避免過拟合和欠拟合，我們應該包括所有重要的變量。有一個很好的方法來確定這種情況，就是使用逐漸篩選方法來估計邏輯回歸。 4.它需要大的樣本量，因為在樣本數量較少的情況下，極大似然估計的效果比普通的最小二乘法差。 5.自變量不應該互相關聯的，即不具有多重共線性。然而，在分析和模組化中，我們可以選擇包含分類變量互相作用的影響。 6.如果因變量的值是定序變量，則稱它為序邏輯回歸。 7.如果因變量是多類的話，則稱它為多元邏輯回歸。
3.polynomial regression多項式回歸
對于一個回歸方程，如果自變量的指數大于1，那麼它就是多項式回歸方程。如下方程所示：y=a+b*x^2
在這種回歸技術中，最佳拟合線不是直線。而是一個用于拟合資料點的曲線。
重點：雖然會有一個誘導可以拟合一個高次多項式并得到較低的錯誤，但這可能會導緻過拟合。你需要經常畫出關系圖來檢視拟合情況，并且專注于保證拟合合理，既沒有過拟合又沒有欠拟合。
下面是一個圖例，可以幫助了解：
明顯地向兩端尋找曲線點，看看這些形狀和趨勢是否有意義。更高次的多項式最後可能産生怪異的推斷結果。
4.stepwise regression逐漸回歸
在處理多個自變量時，我們可以使用這種形式的回歸。在這種技術中，自變量的選擇是在一個自動的過程中完成的，其中包括非人為操作。
這一壯舉是通過觀察統計的值，如r-square，t-stats和aic名額，來識别重要的變量。逐漸回歸通過同時添加/删除基于指定标準的協變量來拟合模型。
下面列出了一些最常用的逐漸回歸方法： - 标準逐漸回歸法做兩件事情。即增加和删除每個步驟所需的預測。 - 向前選擇法從模型中最顯著的預測開始，然後為每一步添加變量。 - 向後剔除法與模型的所有預測同時開始，然後在每一步消除最小顯着性的變量。
這種模組化技術的目的是使用最少的預測變量數來最大化預測能力。這也是處理高維資料集的方法之一。
5.ridge regression嶺回歸
嶺回歸分析是一種用于存在多重共線性(自變量高度相關)資料的技術。在多重共線性情況下，盡管最小二乘法(ols)對每個變量很公平，但它們的差異很大，使得觀測值偏移并遠離真實值。嶺回歸通過給回歸估計上增加一個偏差度，來降低标準誤差。
上面，我們看到了線性回歸方程。還記得嗎?它可以表示為： y=a+b x這個方程也有一個誤差項。完整的方程是： y=a+b x+e (error term), [error term is the value needed to correct for a prediction error between the observed and predicted value] => y=a+y= a+ b1x1+ b2x2+....+e, for multiple independent variables.
在一個線性方程中，預測誤差可以分解為2個子分量。一個是偏差，一個是方差。預測錯誤可能會由這兩個分量或者這兩個中的任何一個造成。在這裡，我們将讨論由方差所造成的有關誤差。
嶺回歸通過收縮參數λ(lambda)解決多重共線性問題。看下面的公式
在這個公式中，有兩個組成部分。第一個是最小二乘項，另一個是β2(β-平方)的λ倍，其中β是相關系數。為了收縮參數把它添加到最小二乘項中以得到一個非常低的方差。
要點：1.除常數項以外，這種回歸的假設與最小二乘回歸類似; 2.它收縮了相關系數的值，但沒有達到零，這表明它沒有特征選擇功能 3.這是一個正則化方法，并且使用的是l2正則化。
6.lasso regression套索回歸
它類似于嶺回歸，lasso (least absolute shrinkage and selection operator)也會懲罰回歸系數的絕對值大小。此外，它能夠減少變化程度并提高線性回歸模型的精度。看看下面的公式：
lasso 回歸與ridge回歸有一點不同，它使用的懲罰函數是絕對值，而不是平方。這導緻懲罰(或等于限制估計的絕對值之和)值使一些參數估計結果等于零。使用懲罰值越大，進一步估計會使得縮小值趨近于零。這将導緻我們要從給定的n個變量中選擇變量。
要點：1.除常數項以外，這種回歸的假設與最小二乘回歸類似; 2.它收縮系數接近零(等于零)，這确實有助于特征選擇; 3.這是一個正則化方法，使用的是l1正則化;
如果預測的一組變量是高度相關的，lasso 會選出其中一個變量并且将其它的收縮為零。
7.elasticnet回歸
elasticnet是lasso和ridge回歸技術的混合體。它使用l1來訓練并且l2優先作為正則化矩陣。當有多個相關的特征時，elasticnet是很有用的。lasso 會随機挑選他們其中的一個，而elasticnet則會選擇兩個。
lasso和ridge之間的實際的優點是，它允許elasticnet繼承循環狀态下ridge的一些穩定性。
要點：1.在高度相關變量的情況下，它會産生群體效應; 2.選擇變量的數目沒有限制; 3.它可以承受雙重收縮。
除了這7個最常用的回歸技術，你也可以看看其他模型，如bayesian、ecological和robust回歸。
如何正确選擇回歸模型?
當你隻知道一個或兩個技術時，生活往往很簡單。我知道的一個教育訓練機構告訴他們的學生，如果結果是連續的，就使用線性回歸。如果是二進制的，就使用邏輯回歸!然而，在我們的進行中，可選擇的越多，選擇正确的一個就越難。類似的情況下也發生在回歸模型中。
在多類回歸模型中，基于自變量和因變量的類型，資料的維數以及資料的其它基本特征的情況下，選擇最合适的技術非常重要。以下是你要選擇正确的回歸模型的關鍵因素：
1.資料探索是建構預測模型的必然組成部分。在選擇合适的模型時，比如識别變量的關系和影響時，它應該首選的一步。
2.比較适合于不同模型的優點，我們可以分析不同的名額參數，如統計意義的參數，r-square，adjusted r-square，aic，bic以及誤差項，另一個是mallows’ cp準則。這個主要是通過将模型與所有可能的子模型進行對比(或謹慎選擇他們)，檢查在你的模型中可能出現的偏差。
3.交叉驗證是評估預測模型最好額方法。在這裡，将你的資料集分成兩份(一份做訓練和一份做驗證)。使用觀測值和預測值之間的一個簡單均方差來衡量你的預測精度。
4.如果你的資料集是多個混合變量，那麼你就不應該選擇自動模型選擇方法，因為你應該不想在同一時間把所有變量放在同一個模型中。
5.它也将取決于你的目的。可能會出現這樣的情況，一個不太強大的模型與具有高度統計學意義的模型相比，更易于實作。
6.回歸正則化方法(lasso，ridge和elasticnet)在高維和資料集變量之間多重共線性情況下運作良好。
本文轉自d1net（轉載）