Передавальна функція штучного нейрона

Функція активації, передавальна функція або функція збудження (англ. activation function^{[1][2][3][4][5]}, також excitation function, squashing function, transfer function^[6]) штучного нейрона — залежність вихідного сигналу штучного нейрона від вхідного.

Зазвичай передавальна функція ${\displaystyle \phi {(x)}}$ відображає дійсні числа на інтервал ${\displaystyle {(-1,1)}}$ або ${\displaystyle {(0,1)}}$^[1].

Більшість видів нейронних мереж для функції активації використовують сигмоїди^[2]. ADALINE і самоорганізаційні карти використовують лінійні функції активації, а радіально базисні мережі використовують радіальні базисні функції^[1].

Математично доведено, що тришаровий перцептрон з використанням сигмоїдної функції активації може апроксимувати будь-яку неперервну функцію з довільною точністю (Теорема Цибенка)^[1].

Метод зворотного поширення помилки вимагає, щоб функція активації була неперервною, нелінійною, монотонно зростаючою, і диференційовною^[1].

В задачі багатокласової^[en] класифікації нейрони останнього шару зазвичай використовують softmax як функцію активації^[3].

У хемометриці — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).^[7]

Деякі бажані властивості передавальної функції включають:

• Нелінійна — коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій.^[8] Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі.
• Неперервна диференційовність — ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція двійковий крок не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті.^[9]
• Область визначення.
• Монотонність.
• Гладка функція з монотонною похідною.
• Наближення до тотожної функції ${\displaystyle f(x)=x}$ в початку координат.

У наступній таблиці порівнюються деякі передавальні функції від однієї змінної x з попереднього шару:

Назва	Графік	Рівняння	Похідна (по x)	Область	Порядок гладкості	Монотонність	Монотонність похідної	Наближення до Тотожної функції в початку координат
Тотожна		${\displaystyle f(x)=x}$	${\displaystyle f'(x)=1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так
Двійковий крок		${\displaystyle f(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x\neq 0\\?&{\text{for }}x=0\end{cases}}}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$	Так	Ні	Ні
Логістична (a.k.a. Сігмоїда або М'який крок)		${\displaystyle f(x)=\sigma (x)={\frac {1}{1+e^{-x}}}}$[1]	${\displaystyle f'(x)=f(x)(1-f(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$	Так	Ні	Ні
TanH		${\displaystyle f(x)=\tanh(x)={\frac {(e^{x}-e^{-x})}{(e^{x}+e^{-x})}}}$	${\displaystyle f'(x)=1-f(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
ArcTan		${\displaystyle f(x)=\tan ^{-1}(x)}$	${\displaystyle f'(x)={\frac {1}{x^{2}+1}}}$	${\displaystyle \left(-{\frac {\pi }{2}},{\frac {\pi }{2}}\right)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
Softsign[10][11]		${\displaystyle f(x)={\frac {x}{1+|x|}}}$	${\displaystyle f'(x)={\frac {1}{(1+|x|)^{2}}}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{1}}$	Так	Ні	Так
Inverse square root unit (ISRU)[12]		${\displaystyle f(x)={\frac {x}{\sqrt {1+\alpha x^{2}}}}}$	${\displaystyle f'(x)=\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}}$	${\displaystyle \left(-{\frac {1}{\sqrt {\alpha }}},{\frac {1}{\sqrt {\alpha }}}\right)}$	${\displaystyle C^{\infty }}$	Так	Ні	Так
Випрямлена лінійна (Rectified linear unit, ReLU)[13]		${\displaystyle f(x)={\begin{cases}0&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Leaky rectified linear unit (Leaky ReLU)[14]		${\displaystyle f(x)={\begin{cases}0.01x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0.01&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Parameteric rectified linear unit (PReLU)[15]		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$[2]	${\displaystyle C^{0}}$	Так ↔ ${\displaystyle \alpha \geqslant 0}$	Так	Так ↔ ${\displaystyle \alpha =1}$
Randomized leaky rectified linear unit (RReLU)[16]		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha x&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$[3]	${\displaystyle f'(\alpha ,x)={\begin{cases}\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Так	Так	Ні
Exponential linear unit (ELU)[17]		${\displaystyle f(\alpha ,x)={\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}f(\alpha ,x)+\alpha &{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C_{1}&{\text{when }}\alpha =1\\C_{0}&{\text{otherwise }}\end{cases}}}$	Так ↔ ${\displaystyle \alpha \geqslant 0}$	Так ↔ ${\displaystyle 0\leqslant \alpha \leqslant 1}$	Так ↔ ${\displaystyle \alpha =1}$
Scaled exponential linear unit (SELU)[18]		${\displaystyle f(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x}-1)&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$ з ${\displaystyle \lambda =1.0507}$ та ${\displaystyle \alpha =1.67326}$	${\displaystyle f'(\alpha ,x)=\lambda {\begin{cases}\alpha (e^{x})&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$	Так	Ні	Ні
S-shaped rectified linear activation unit (SReLU)[19]		${\displaystyle f_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}t_{l}+a_{l}(x-t_{l})&{\text{for }}x\leqslant t_{l}\\x&{\text{for }}t_{l}<x<t_{r}\\t_{r}+a_{r}(x-t_{r})&{\text{for }}x\geqslant t_{r}\end{cases}}}$ ${\displaystyle t_{l},a_{l},t_{r},a_{r}}$ are parameters.	${\displaystyle f'_{t_{l},a_{l},t_{r},a_{r}}(x)={\begin{cases}a_{l}&{\text{for }}x\leqslant t_{l}\\1&{\text{for }}t_{l}<x<t_{r}\\a_{r}&{\text{for }}x\geqslant t_{r}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Ні	Ні	Ні
Inverse square root linear unit (ISRLU)[12]		${\displaystyle f(x)={\begin{cases}{\frac {x}{\sqrt {1+\alpha x^{2}}}}&{\text{for }}x<0\\x&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}\left({\frac {1}{\sqrt {1+\alpha x^{2}}}}\right)^{3}&{\text{for }}x<0\\1&{\text{for }}x\geqslant 0\end{cases}}}$	${\displaystyle \left(-{\frac {1}{\sqrt {\alpha }}},\infty \right)}$	${\displaystyle C^{2}}$	Так	Так	Так
Adaptive piecewise linear (APL)[20]		${\displaystyle f(x)=\max(0,x)+\sum _{s=1}^{S}a_{i}^{s}\max(0,-x+b_{i}^{s})}$	${\displaystyle f'(x)=H(x)-\sum _{s=1}^{S}a_{i}^{s}H(-x+b_{i}^{s})}$[4]	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$	Ні	Ні	Ні
SoftPlus[21]		${\displaystyle f(x)=\ln(1+e^{x})}$	${\displaystyle f'(x)={\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Ні
Bent identity		${\displaystyle f(x)={\frac {{\sqrt {x^{2}+1}}-1}{2}}+x}$	${\displaystyle f'(x)={\frac {x}{2{\sqrt {x^{2}+1}}}}+1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так
Sigmoid-weighted linear unit (SiLU)[22] (a.k.a. Swish[23])		${\displaystyle f(x)=x\cdot \sigma (x)}$[5]	${\displaystyle f'(x)=f(x)+\sigma (x)(1-f(x))}$[6]	${\displaystyle [\approx -0.28,\infty )}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні
SoftExponential[24]		${\displaystyle f(\alpha ,x)={\begin{cases}-{\frac {\ln(1-\alpha (x+\alpha ))}{\alpha }}&{\text{for }}\alpha <0\\x&{\text{for }}\alpha =0\\{\frac {e^{\alpha x}-1}{\alpha }}+\alpha &{\text{for }}\alpha >0\end{cases}}}$	${\displaystyle f'(\alpha ,x)={\begin{cases}{\frac {1}{1-\alpha (\alpha +x)}}&{\text{for }}\alpha <0\\e^{\alpha x}&{\text{for }}\alpha \geqslant 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$	Так	Так	Так ↔ ${\displaystyle \alpha =0}$
Синусоїда[25]		${\displaystyle f(x)=\sin(x)}$	${\displaystyle f'(x)=\cos(x)}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Так
Sinc		${\displaystyle f(x)={\begin{cases}1&{\text{for }}x=0\\{\frac {\sin(x)}{x}}&{\text{for }}x\neq 0\end{cases}}}$	${\displaystyle f'(x)={\begin{cases}0&{\text{for }}x=0\\{\frac {\cos(x)}{x}}-{\frac {\sin(x)}{x^{2}}}&{\text{for }}x\neq 0\end{cases}}}$	${\displaystyle [\approx -.217234,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні
Гауссіан		${\displaystyle f(x)=e^{-x^{2}}}$	${\displaystyle f'(x)=-2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$	Ні	Ні	Ні

↑ Тут, H це функція Гевісайда.

↑ α є стохастичною змінною вибраною з нормального розподілу під час навчання і зафіксована як очікуване значення розподілу до часу тестування.

↑ ↑ ↑ Тут, ${\displaystyle \sigma }$ — логістична функція.

↑  ${\displaystyle \alpha >0}$ виконується для всього інтервалу.

Наступна таблиця містить передавальні функції від декількох змінних:

Назва	Рівняння	Похідна(ні)	Область	Порядок гладкості
Softmax	${\displaystyle f_{i}({\vec {x}})={\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$    for i = 1, …, J	${\displaystyle {\frac {\partial f_{i}({\vec {x}})}{\partial x_{j}}}=f_{i}({\vec {x}})(\delta _{ij}-f_{j}({\vec {x}}))}$[7]	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Maxout[26]	${\displaystyle f({\vec {x}})=\max _{i}x_{i}}$	${\displaystyle {\frac {\partial f}{\partial x_{j}}}={\begin{cases}1&{\text{for }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{for }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

↑  Тут, ${\displaystyle \delta _{ij}}$ — символ Кронекера.

• Функція втрат