天天看點

AI 高等數學、機率論基礎

  基礎引入:

    

AI 高等數學、機率論基礎

  原理一:【兩邊夾定理】

AI 高等數學、機率論基礎

  原理二:【極限】

   

AI 高等數學、機率論基礎

     

AI 高等數學、機率論基礎

    X為角度x對應的圓弧的點長;

  原理三【單調性】:

AI 高等數學、機率論基礎

  引入:

      

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  常見函數的導數:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  求解:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  泰勒展式在x0 = 0處展開得到麥克勞林展式

  Taylor公式的應用1:

AI 高等數學、機率論基礎

  變種:

AI 高等數學、機率論基礎

  Taylor公式應用2:

AI 高等數學、機率論基礎

  方向導數:

AI 高等數學、機率論基礎

  梯度:

AI 高等數學、機率論基礎

  函數的凸凹性:

AI 高等數學、機率論基礎

  函數凸凹性判定:

AI 高等數學、機率論基礎

  

AI 高等數學、機率論基礎

  凸函數性質的應用:

AI 高等數學、機率論基礎

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  機率為0例子: 把一枚針投在一個平面上,則機率為0(一個點 之于 一個面)

  古典概型:

AI 高等數學、機率論基礎

    思路:

      

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  古典概型變種問題:

    生日悖論:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  古典概型總結:

AI 高等數學、機率論基礎

  幾何概型:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  條件機率:

AI 高等數學、機率論基礎

  條件機率: 在已知B發送的條件下,A發生的機率

AI 高等數學、機率論基礎

  全機率:

AI 高等數學、機率論基礎

    全機率公式的意義在于: 當直接計算P(A)比較困難,而P(Bi),P(A|Bi)  (i=1,2,...)的計算較為簡單時,可以利用全機率公式計算P(A)。思想就是,将事件A分解成幾個小事件,通過求小事件的機率,然後相加進而求得事件A的機率,而将事件A進行分割的時候,不是直接對A進行分割,而是先找到樣本空間Ω的一個個劃分B1,B2,...Bn,這樣事件A就被事件AB1,AB2,...ABn分解成了n部分,即A=AB1+AB2+...+ABn, 每一Bi發生都可能導緻A發生相應的機率是P(A|Bi),由加法公式得

         P(A)=P(AB1)+P(AB2)+....+P(ABn)

               =P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(PBn)

  貝葉斯公式:

    與全機率公式解決的問題相反,貝葉斯是建立在條件機率的基礎上尋找事件發生的原因(即大事件A已經發生的條件下,分割中的小事件Bi的機率),設B1,B2,...是樣本空間Ω的一個劃分,則對任一事件A(P(A)>0),有

AI 高等數學、機率論基礎

        Bi 常被視為導緻試驗結果A發生的”原因“,P(Bi)(i=1,2,...)表示各種原因發生的可能性大小,故稱先驗機率;P(Bi|A)(i=1,2...)則反映當試驗産生了結果A之後,再對各種原因機率的新認識,故稱後驗機率。

   貝葉斯公式的應用:

AI 高等數學、機率論基礎

     

AI 高等數學、機率論基礎

  兩學派的認知:【頻率學派 && 貝葉斯學派】

AI 高等數學、機率論基礎

  貝葉斯公式擴充:

AI 高等數學、機率論基礎

  兩點分布:

AI 高等數學、機率論基礎

  二項分布:【伯努力分布】

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  泊松分布【Taylor展式結合】:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  泊松分布的應用:

AI 高等數學、機率論基礎

  連續分布之均勻分布:

AI 高等數學、機率論基礎

   連續分布之指數分布:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  指數分布的無記憶性:

AI 高等數學、機率論基礎

  連續分布之正态分布【高斯分布】:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  總結:

AI 高等數學、機率論基礎

  指數族:

    二項分布【伯努力分布】,正态分布【高斯分布】屬于指數族

  logistic函數【sigmod函數】:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  Logistic函數的導數:

AI 高等數學、機率論基礎

 期望:

AI 高等數學、機率論基礎

  期望的性質:

AI 高等數學、機率論基礎

    note: P(xy) = P(x) P(y)   -->  x, y獨立

  方差:

AI 高等數學、機率論基礎

  協方差:

AI 高等數學、機率論基礎

  協方差、獨立、不相關關系:

AI 高等數學、機率論基礎

  協方差的意義:

AI 高等數學、機率論基礎

  協方差的上界:

AI 高等數學、機率論基礎

       

AI 高等數學、機率論基礎

  獨立一定不相關,不相關不一定獨立,不相關隻是線性獨立,可能是非線性不獨立;

AI 高等數學、機率論基礎

   其中:Var(x): 标準差;

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

     期望為一階原點矩, 方差為2階中心矩

AI 高等數學、機率論基礎

  偏度:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

      偏度為0, 則是正态分布

  偏度公式:

AI 高等數學、機率論基礎

  峰度:

AI 高等數學、機率論基礎

  應用:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  引入切比雪夫不等式:

AI 高等數學、機率論基礎

  大數定理:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  中心極限定理:

AI 高等數學、機率論基礎

  标準的中心極限定理的問題:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  中心極限定理的意義:

AI 高等數學、機率論基礎

  樣本的統計量:

AI 高等數學、機率論基礎

  樣本的矩:

AI 高等數學、機率論基礎

  随機變量的矩 和 樣本的矩, 有什麼關系呢??

AI 高等數學、機率論基礎

  矩估計:【非常重要】

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  正态分布的矩估計:

AI 高等數學、機率論基礎

  均勻分布的矩估計:

AI 高等數學、機率論基礎

  貝葉斯公式帶來的思考:

AI 高等數學、機率論基礎

  最大似然估計:

AI 高等數學、機率論基礎

  極大似然估計的具體實踐:

AI 高等數學、機率論基礎

  極大似然估計的應用:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  正态分布的極大似然估計:

AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎
AI 高等數學、機率論基礎

  極大似然估計與過拟合:

AI 高等數學、機率論基礎

    5、 10 為超參數;