基礎引入:
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIn5GcuYWYihjNjVGO5ADZhZGOmVDZiNTZxEWY3YDZ0ETM5UjNfdWbp9CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
原理一:【兩邊夾定理】
原理二:【極限】
X為角度x對應的圓弧的點長;
原理三【單調性】:
引入:
常見函數的導數:
求解:
泰勒展式在x0 = 0處展開得到麥克勞林展式
Taylor公式的應用1:
變種:
Taylor公式應用2:
方向導數:
梯度:
函數的凸凹性:
函數凸凹性判定:
凸函數性質的應用:
、
機率為0例子: 把一枚針投在一個平面上,則機率為0(一個點 之于 一個面)
古典概型:
思路:
古典概型變種問題:
生日悖論:
古典概型總結:
幾何概型:
條件機率:
條件機率: 在已知B發送的條件下,A發生的機率
全機率:
全機率公式的意義在于: 當直接計算P(A)比較困難,而P(Bi),P(A|Bi) (i=1,2,...)的計算較為簡單時,可以利用全機率公式計算P(A)。思想就是,将事件A分解成幾個小事件,通過求小事件的機率,然後相加進而求得事件A的機率,而将事件A進行分割的時候,不是直接對A進行分割,而是先找到樣本空間Ω的一個個劃分B1,B2,...Bn,這樣事件A就被事件AB1,AB2,...ABn分解成了n部分,即A=AB1+AB2+...+ABn, 每一Bi發生都可能導緻A發生相應的機率是P(A|Bi),由加法公式得
P(A)=P(AB1)+P(AB2)+....+P(ABn)
=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(PBn)
貝葉斯公式:
與全機率公式解決的問題相反,貝葉斯是建立在條件機率的基礎上尋找事件發生的原因(即大事件A已經發生的條件下,分割中的小事件Bi的機率),設B1,B2,...是樣本空間Ω的一個劃分,則對任一事件A(P(A)>0),有
Bi 常被視為導緻試驗結果A發生的”原因“,P(Bi)(i=1,2,...)表示各種原因發生的可能性大小,故稱先驗機率;P(Bi|A)(i=1,2...)則反映當試驗産生了結果A之後,再對各種原因機率的新認識,故稱後驗機率。
貝葉斯公式的應用:
兩學派的認知:【頻率學派 && 貝葉斯學派】
貝葉斯公式擴充:
兩點分布:
二項分布:【伯努力分布】
泊松分布【Taylor展式結合】:
泊松分布的應用:
連續分布之均勻分布:
連續分布之指數分布:
指數分布的無記憶性:
連續分布之正态分布【高斯分布】:
總結:
指數族:
二項分布【伯努力分布】,正态分布【高斯分布】屬于指數族
logistic函數【sigmod函數】:
Logistic函數的導數:
期望:
期望的性質:
note: P(xy) = P(x) P(y) --> x, y獨立
方差:
協方差:
協方差、獨立、不相關關系:
協方差的意義:
協方差的上界:
獨立一定不相關,不相關不一定獨立,不相關隻是線性獨立,可能是非線性不獨立;
其中:Var(x): 标準差;
期望為一階原點矩, 方差為2階中心矩
偏度:
偏度為0, 則是正态分布
偏度公式:
峰度:
應用:
引入切比雪夫不等式:
大數定理:
中心極限定理:
标準的中心極限定理的問題:
中心極限定理的意義:
樣本的統計量:
樣本的矩:
随機變量的矩 和 樣本的矩, 有什麼關系呢??
矩估計:【非常重要】
正态分布的矩估計:
均勻分布的矩估計:
貝葉斯公式帶來的思考:
最大似然估計:
極大似然估計的具體實踐:
極大似然估計的應用:
正态分布的極大似然估計:
極大似然估計與過拟合:
5、 10 為超參數;