天天看點

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

softmax函數與sigmoid函數之間的差別

作者介紹:

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

saimadhu polamuri:是一名自學成才的資料科學家,對資料科學有熱愛和興趣,他認為學習意味着生活,擅長使用python程式設計,業餘時間在quora上回答問題。

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

softmax函數vs sigmoid函數

從函數水準(幫助預測目标類别)上來看,這兩個函數是相同的,但存在許多明顯的數學差異,應用在深度學習和其他領域中,發揮了至關重要的作用。

是以在這篇文章中将進一步了解這兩個函數及其應用之間的根本差別。

在開始之前,介紹本文的目錄:

什麼是s型函數?

s形函數的性質

sigmoid函數的使用

在python中實作sigmoid函數

建立sigmoid函數圖像形 

什麼是softmax函數?

softmax函數的性質

softmax函數的使用

在python中實作softmax函數

建立softmax函數圖像形 

sigmoid函數與softmax函數之間的差異

結論 

從數學定義上來看,sigmoid函數取任何範圍的實數,傳回的輸出值在0到1的範圍内。s形函數産生“s”型曲線,這些曲線也用于統計,使用累積分布函數(輸出範圍為0到1)。

sigmoid函數傳回一個實值輸出。

s形函數的一階導數是非負的或非正的。

非負數:如果數字大于或等于零。 非正數:如果數字小于或等于零。

sigmoid函數用于邏輯回歸模型中的二進制分類。

在建立人造神經元時,sigmoid函數用作激活函數。

在統計學中,s形函數圖像是常見的累積分布函數。

現在讓我們在python中實作sigmoid函數 

以上是sigmoid函數的實作代碼。

該函數将以清單形式的值作為輸入參數。

清單中的每個元素/值将被視為sigmoid函數的輸入,并計算輸出值。

代碼 1 / float(1 + np.exp(-x))是用于計算sigmoid分數的函數。

接下來,我們将一個清單sigmiod_inputs作為函數的輸入,清單值為2,3,5,6,經過sigmoid函數計算後獲得sigmoid分數。 

腳本輸出 

建立sigmoid函數圖像

現在使用上面的函數來建立圖像,以友善了解sigmoid函數的性質。

傳遞一個包含0到21範圍内的數字的清單。

計算輸入清單的sigmoid分數。

然後使用輸出值來顯示圖像。 

建立一個包含0到21範圍内的數字的graph_x清單。

之後在graph_y清單中,存儲給定graph_x輸入的計算sigmoid分數。

調用line_graph函數,該函數采用圖像的x,y和标題來建立線形圖。 

腳本輸出

圖像

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

從上圖可以看出,随着輸入值的增加,sigmoid得分增加到1。圖的頂部表示在0.9到0.99範圍内的值。

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

softmax函數計算事件超過'n'個不同僚件的機率分布。一般來說,這個函數将會計算每個目标類别在所有可能的目标類中的機率。計算出的機率将有助于确定給定輸入的目标類别。

使用softmax的主要優點是輸出機率的範圍,範圍為0到1,所有機率的和将等于1。如果将softmax函數用于多分類模型,它會傳回每個類别的機率,并且目标類别的機率值會很大。指數公式計算給定輸入值的指數和輸入中所有值的指數值之和。那麼輸入值的指數與指數值之和的比值就是softmax函數的輸出。 

以下是softmax函數的幾個性質。

計算出的機率将在0到1的範圍内。

所有機率的和等于1。

用于多重分類邏輯回歸模型。

在建構神經網絡中,在不同的層使用softmax函數。

現在讓我們在python中實作softmax函數:

建立softmax函數圖像

現在讓我們使用實作的softmax函數建立圖像來了解這個函數的表現。

建立一個包含0到21範圍内的值的清單。

之後将通過此清單來計算已實作函數的分數。

使用清單和估計分數建立圖像。

圖像 

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

該圖顯示了softmax函數的基本屬性,值越大,其機率越高。

以下是sigmoid和softmax函數之間的差異表格:

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱:

結論

在本文中,詳細了解确定邏輯回歸模型的兩個函數。

softmax:用于多分類任務。

sigmoid:用于二進制分類任務。

附件為原文的pdf

wechat:269970760 

<a href="https://weibo.com/u/3910993635/" target="_blank">weibo:uncle_lld </a>

email:[email protected]

微信公衆号:ai科技時訊

神經網絡常用激活函數對比:sigmoid VS sofmax(附python源碼) 文章原标題《Difference Between Softmax Function and Sigmoid Function》,作者:Saimadhu Polamuri,譯者:海棠,審閱: