分類回歸與目标函數

分類問題預測的是類别，模型的輸出是機率分布

    三分類問題輸出例子：[0.2, 0.7, 0.1]

回歸問題預測的是值，模型的輸出是一個實數值

為什麼需要目标函數？

    參數是逐漸調整的

    目标函數可以幫助衡量模型的好壞

        Model A:[0.1, 0.4, 0.5]

        Model B:[0.1, 0.2, 0.7]

分類問題

    需要衡量目标類别與目前預測的差距

        三分類問題輸出例子：[0.2, 0.7, 0.1]

        三分類真實類别：2->one_hot->[0,0,1]

one_hot編碼，把正整數變為向量表達

        生成一個長度不小于正整數的向量，（對于分類問題來說，輸出的向量長度是類别個數）隻有正整數的位置處為1，其餘位置都為0.

作用：可以把一個類别的離散值變為一個分布，然後可以計算兩個分布的距離。（平方差損失，交叉熵損失）

平方差損失舉例

    預測值：[0.2, 0.7, 0.1]

    真實值：[0, 0, 1]

    損失函數值：[(0.2-0)~2+(0.7-0)~2+(0.1-1)~2]*0.5=0.65

回歸問題：

預測值與真實值的差距

平方差損失

絕對值損失

模型的訓練就是調整參數，使得目标函數逐漸變小的過程。