Сигмоїда

Сигмоїда — це неперервно диференційована монотонна нелінійна S-подібна функція, яка часто застосовується для «згладжування» значень деякої величини.

Часто під сигмоїдою розуміють логістичну криву (див. рисунок ліворуч), яка визначається формулою

${\displaystyle S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.}$

У родину функцій класу сигмоїд також входять такі функції як арктангенс, гіперболічний тангенс та інші.

Функція Фермі (Експоненційна сигмоїда): ${\displaystyle f(s)={\frac {1}{1+e^{-2\alpha s}}}}$

Раціональна сигмоїда: ${\displaystyle f(s)={\frac {s}{|s|+\alpha }}}$

Гіперболічний тангенс: ${\displaystyle f(s)=th{\frac {s}{\alpha }}={\frac {e^{\frac {s}{\alpha }}-e^{-{\frac {s}{\alpha }}}}{e^{\frac {s}{\alpha }}+e^{-{\frac {s}{\alpha }}}}}}$

Сигмоїда застосовується в нейронних мережах^[1] для того, щоб ввести деяку нелінійність в роботу мережі, але при цьому не дуже сильно змінити результат її роботи.

Одна з причин через яку сигмоїда використовується в нейронних мережах — це простий вираз її похідної через саму функцію (що дозволило істотно скоротити обчислювальну складність методу зворотного поширення помилки, зробивши його придатним на практиці):

${\displaystyle \sigma '(x)=\sigma (x)\cdot (1-\sigma (x))}$

Не менш важливою причиною введення нелінійності є математично доведена можливість отримати як завгодно точне наближення будь-якої неперервної функції багатьох змінних, використовуючи операції додавання та множення на число, суперпозицію функцій, лінійні функції, а також одну довільну неперервну нелінійну функцію однієї змінної.^[2][3]

• Штучна нейронна мережа
• Перцептрон

1. ↑ Порівняння швидкості кількох програмних реалізацій гіперболічного тангенсу
2. ↑ Узагальнена апроксимаційний теорема та обчислювальні можливості нейронних мереж. Архів оригіналу за 4 квітня 2010. Процитовано 25 січня 2010. [Архівовано 2010-04-04 у Wayback Machine.]
3. ↑ О произвольной нелинейности нейрона в нейросети

Ця стаття не містить посилань на джерела. Ви можете допомогти поліпшити цю статтю, додавши посилання на надійні (авторитетні) джерела. Матеріал без джерел може бути піддано сумніву та вилучено. (лютий 2017)

Це незавершена стаття з математики. Ви можете допомогти проєкту, виправивши або дописавши її.