斜坡函數

斜坡函數是一個一元實函數，因此其圖形類似斜坡，故得其名，斜坡函數有許多不同的定義方式，例如「負值時為０，其他值的輸出等於輸入」。斜坡函數的斜率以及斜坡的位置也可以調整，此條目中的斜坡函數是單位斜坡函數（斜坡斜率為1，從0的位置開始）。

斜坡函數的圖

在機器學習中，常會稱斜坡函數為ReLU激活函數，或是線性整流函數，類似電子工程中的半波整流器。若用在統計學的似然函數，會稱為Tobit模型。

斜坡函數在數學以及工程上有許多的應用，依使用的情境不同，也有不同的名稱。也有不少類似斜坡函數的函數。

定義

斜坡函數（$R(x):\mathbb {R} \rightarrow \mathbb {R}$）可以用許多的解析方式來定義。以下是一些定義：

$R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}$

或

$R(x):=\operatorname {max} (x,0)$

• 單位階躍函數乘以x：

$R\left(x\right):=xH\left(x\right)$

• 單位階躍函數和其本身的卷積：

$R\left(x\right):=H\left(x\right)*H\left(x\right)$

• 單位階躍函數的積分：

$R(x):=\int _{-\infty }^{x}H(\xi )\,\mathrm {d} \xi$

• 麥考利括弧：

$R(x):=\langle x\rangle$

解析性質

非零性質

此函數在整個定義域中的值都是非負值，因此其絕對值都是其自身。

$\forall x\in \mathbb {R} :R(x)\geqslant 0$

及

$\left|R\left(x\right)\right|=R\left(x\right)$

導數

斜坡函數的導數為單位階躍函數

$R'(x)=H(x)\ \mathrm {if} \ x\neq 0$

傅里葉變換

斜坡函數的傅里葉變換如下

${\mathcal {F}}\left\{R(x)\right\}(f)$ $=$ $\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}dx$ $=$ ${\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}}$

其中$\delta (x)$為狄拉克δ函數（在此公式中，有出現其微分項）

拉普拉斯變換

斜坡函數的傅里葉變換如下

$R(x)$單邊的拉普拉斯變換定義如下：

${\mathcal {L}}\left\{R\left(x\right)\right\}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.$

代數性質

迭代不變性

斜坡函數的每個迭代函數都是其自身：
$R\left(R\left(x\right)\right)=R\left(x\right)$.

• 證明：$R(R(x)):={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}$ $=$
  $=$ ${\frac {2R(x)}{2}}=R(x)$.

此處應用到非零性質。

參考資料

• Mathworld （頁面存檔備份，存於互聯網檔案館）