斜坡函数

斜坡函数是一個一元（英语：Unary function）實函數，因此其圖形類似斜坡，故得其名，斜坡函数有許多不同的定義方式，例如「負值時為０，其他值的輸出等於輸入」。斜坡函数的斜率以及斜坡的位置也可以調整，此條目中的斜坡函数是單位斜坡函数（斜坡斜率為1，從0的位置開始）。

在机器学习中，常會稱斜坡函数為ReLU激活函数^[1][2]，或是线性整流函数，類似電子工程中的半波整流器。若用在統計學的似然函数，會稱為Tobit模型（英语：tobit model）。

斜坡函数在數學以及工程上有許多的應用，依使用的情境不同，也有不同的名稱。也有不少類似斜坡函数的函數。

斜坡函数（${\displaystyle R(x):\mathbb {R} \rightarrow \mathbb {R} }$）可以用許多的解析方式來定義。以下是一些定義：

${\displaystyle R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}}$

或

${\displaystyle R(x):=\operatorname {max} (x,0)}$

• 单位阶跃函数乘以x：

${\displaystyle R\left(x\right):=xH\left(x\right)}$

• 单位阶跃函数和其本身的卷積：

${\displaystyle R\left(x\right):=H\left(x\right)*H\left(x\right)}$

• 单位阶跃函数的積分：

${\displaystyle R(x):=\int _{-\infty }^{x}H(\xi )\,\mathrm {d} \xi }$

• 麦考利括弧（英语：Macaulay brackets）：

${\displaystyle R(x):=\langle x\rangle }$

此函數在整個定義域中的值都是非負值，因此其絕對值都是其自身。

${\displaystyle \forall x\in \mathbb {R} :R(x)\geqslant 0}$

及

${\displaystyle \left|R\left(x\right)\right|=R\left(x\right)}$

斜坡函数的導數為单位阶跃函数

${\displaystyle R'(x)=H(x)\ \mathrm {if} \ x\neq 0}$

斜坡函数的傅里叶变换如下

${\displaystyle {\mathcal {F}}\left\{R(x)\right\}(f)}$ ${\displaystyle =}$ ${\displaystyle \int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}dx}$ ${\displaystyle =}$ ${\displaystyle {\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}}}$

其中${\displaystyle \delta (x)}$為狄拉克δ函数（在此公式中，有出現其微分項）

斜坡函数的傅里叶变换如下

${\displaystyle R(x)}$單邊的拉普拉斯變換定義如下：

${\displaystyle {\mathcal {L}}\left\{R\left(x\right)\right\}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.}$

斜坡函数的每個迭代函数都是其自身：
${\displaystyle R\left(R\left(x\right)\right)=R\left(x\right)}$.

• 證明：${\displaystyle R(R(x)):={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}}$ ${\displaystyle =}$
  ${\displaystyle =}$ ${\displaystyle {\frac {2R(x)}{2}}=R(x)}$.

此處應用到非零性質。

• Mathworld （页面存档备份，存于互联网档案馆）

1. ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. （原始内容存档于2024-07-05）. 
2. ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021]. （原始内容存档于2024-08-24） （英语）.