1、似然函數
統計學中，似然函數是一種關于統計模型參數的函數。給定輸出x時，關于參數θ的似然函數L(θ|x)（在數值上）等于給定參數θ後變量X的機率： L(θ|x)=P(X=x|θ)。 似然函數在推斷統計學（Statistical inference）中扮演重要角色，尤其是在參數估計方法中。在教科書中，似然常常被用作“機率”的同義詞。但是在統計學中，二者有截然不同的用法。機率描述了已知參數時的随機變量的輸出結果；似然則用來描述已知随機變量輸出結果時，未知參數的可能取值。例如，對于“一枚正反對稱的硬币上抛十次”這種事件，我們可以問硬币落地時十次都是正面向上的“機率”是多少；而對于“一枚硬币上抛十次，落地都是正面向上”這種事件，我們則可以問，這枚硬币正反面對稱的“似然”程度是多少。 似然函數的主要用法在于比較它相對取值，雖然這個數值本身不具備任何含義。例如，考慮一組樣本，當其輸出固定時，這組樣本的某個未知參數往往會傾向于等于某個特定值，而不是随便的其他數，此時，似然函數是最大化的。 關于利用似然函數進行統計推斷的應用，可以參考最大似然估計（Maximum likelihood estimation）方法和似然比檢驗（Likelihood-ratio testing）方法。
2、極大後驗假設 極大似然估計
機器學習的任務：在給定訓練資料D時，确定假設空間H中的最佳假設。
學習器在候選假設集合H中尋找給定資料D時可能性最大的假設h，h被稱為極大後驗假設（MAP maximum a posteriori）。 确定MAP的方法是用貝葉斯公式計算每個候選假設的後驗機率，計算式如下: h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h屬于集合H) 最後一步，去掉了P(D)，因為它是不依賴于h的常量。
在某些情況下，可假定H中每個假設有相同的先驗機率，這樣式子可以進一步簡化，隻需考慮P(D|h)來尋找極大可能假設。 h_ml = argmax p(D|h) h屬于集合H P(D|h)常被稱為給定h時資料D的似然度，而使P(D|h)最大的假設被稱為極大似然假設。
3、最大似然估計
作用：在已知試驗結果（即是樣本）的情況下，用來估計滿足這些樣本分布的參數，把可能性最大的那個參數作為真實的參數估計。
解釋：最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。下面我們具體描述一下最大似然估計：首先，假設
為獨立同分布的采樣，θ為模型參數，f為我們所使用的模型，遵循我們上述的獨立同分布假設。參數為θ的模型f産生上述采樣可表示為
回到上面的“模型已定，參數未知”的說法，此時，我們已知的為
，未知為θ，故似然定義為:
在實際應用中常用的是兩邊取對數，得到公式如下：
其中
稱為對數似然，而
稱為平均對數似然。而我們平時所稱的最大似然為最大的對數平均似然，即：
最大似然估計的一般求解過程：
（1）寫出似然函數；
（2）對似然函數取對數，并整理；
（3）求導數 ；
（4） 解似然方程。
4、最大後驗假設和最大似然估計差別
MAP與MLE最大差別是MAP中加入了模型參數本身的機率分布，或者說。MLE中認為模型參數本身的機率的是均勻的，即該機率為一個固定值。