機器學習數學基礎（一）：機器學習與數學分析

機器學習數學基礎（一）

• 機器學習
• • 概念
  • • 什麼是機器學習？
    • 什麼是學習？
    • 内涵與外延？
  • 流程
  • 重點知識
  • Code
• 機器學習與數學分析
• • 極限
  • 導數
  • • 幂指函數
    • 離散加和=連續積分
  • 泰勒公式
  • • 應用
  • 方向導數
  • 梯度
  • 特殊函數
  • • Γ函數
    • 凸函數
    • • 一階可微
      • 二階可微
      • 凸函數舉例

從機器學習角度看數學

• 數學分析：導數與梯度、Taylor展式應用
• 機率論：古典概型、頻率學派與貝葉斯學派、常見機率分布、sigmoid logistic函數引入

機器學習

概念

什麼是機器學習？

什麼是學習？

從完全無知到掌握知識，包括監督學習、無監督學習、增強學習

内涵與外延？

機器學習能解決給定資料預測問題，不能解決大資料存儲并行計劃，做一個機器人

流程

模組化+預測

重點知識

線性回歸、rate、Loss

EM算法

GMM

圖像的卷積

去均值ICA分離

帶噪聲的信号分離

SVM 高斯核函數

HMM

LDA/pLSA

最大熵模型

聚類

降維

SVM

條件随機場

變分推導

深度學習

Code

• 基礎畫圖

import math
import matplotlib.pyplot as plt

if __name__ == "__main__":
    x = [float(i)/100.0 for i in range (1,300)]
    y = [math.log(i) for i in x]
    plt.plot(x,y,'r-',linewidth=3,label='log curve')
    a = [x[20],x[175]]
    b = [y[20],y[175]]
    plt.plot(a,b,'g-',linewidth=2)
    plt.plot(a,b,'b*',markersize=15,alpha=0.75)
    plt.legend(loc='upper left')
    plt.grid(True)
    plt.xlabel('X')
    plt.ylabel('log(X)')
    plt.show()
           

• 疊代多次 中心極限定理

import matplotlib.pyplot as plt
import numpy as np

if __name__ == "__main__":
    u = np.random.uniform(0.0,1.0,1000)
    plt.hist(u,80,facecolor='g',alpha=0.7)
    plt.grid(True)
    plt.show()

    times=10000
    for time in range(times):
        u += np.random.uniform(0.0,1.0,10000)
    print(len(u))

    u /= times
    print(len(u))
    plt.hist(u,80,facecolor='g',alpha=0.75)
    plt.grid(True)
    plt.show()
           

機器學習與數學分析

極限

等于e，夾逼定理

導數

幂指函數

離散加和=連續積分

泰勒公式

應用

方向導數

梯度

特殊函數

Γ函數

凸函數

一階可微

二階可微

凸函數舉例