斜坡函數

斜坡函數是一個一元英語Unary function實函數,因此其圖形類似斜坡,故得其名,斜坡函數有許多不同的定義方式,例如「負值時為0,其他值的輸出等於輸入」。斜坡函數的斜率以及斜坡的位置也可以調整,此條目中的斜坡函數是單位斜坡函數(斜坡斜率為1,從0的位置開始)。

斜坡函數的圖

機器學習中,常會稱斜坡函數為ReLU激活函數[1][2],或是線性整流函數,類似電子工程中的半波整流器。若用在統計學似然函數,會稱為Tobit模型英語tobit model

斜坡函數在數學以及工程上有許多的應用,依使用的情境不同,也有不同的名稱。也有不少類似斜坡函數的函數。

定義

斜坡函數( )可以用許多的解析方式來定義。以下是一些定義:

 

 
 
  • 單位階躍函數和其本身的卷積
 
  • 單位階躍函數的積分
 
 

解析性質

非零性質

此函數在整個定義域中的值都是非負值,因此其絕對值都是其自身。

 

 

導數

斜坡函數的導數為單位階躍函數

 

傅里葉變換

斜坡函數的傅里葉變換如下

         

其中 狄拉克δ函數(在此公式中,有出現其微分項)

拉普拉斯變換

斜坡函數的傅里葉變換如下

 單邊的拉普拉斯變換定義如下:

 

代數性質

迭代不變性

斜坡函數的每個迭代函數都是其自身:
 .

  • 證明:   
       .

此處應用到非零性質

參考資料

  1. ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. (原始內容存檔於2024-07-05). 
  2. ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021]. (原始內容存檔於2024-08-24) (英語).