Багатошаровий перцептрон

Багатошаровий перцептрон Румельхарта — окремий випадок перцептрона Розенблатта, в якому один алгоритм зворотного поширення помилки навчає всі шари. На жаль, назва з історичних причин не відображає особливості даного виду перцептрона, тобто не пов'язана з тим, що в ньому кілька шарів (тому що кілька шарів було і у перцептрона Розенблатта). Особливістю є наявність більш ніж одного учня шару (як правило — два чи три, для застосування більшої кількості наразі немає обґрунтування — втрачається швидкість без придбання якості). Необхідність у великій кількості шарів-учнів відпадає, оскільки теоретично єдиного прихованого шару достатньо, щоб перекодувати вхідний сигнал таким чином, щоб отримати лінійну карту для вихідного сигналу. Але є припущення, що, використовуючи більше число шарів, можна зменшити число елементів у них, тобто сумарне число елементів у шарах буде менше, ніж при використанні одного прихованого шару.

Відмінності багатошарового перцептрона від перцептрону Розенблатта

Використання нелінійної функції активації, як правило сигмоїдної.
Число шарів, які навчають, більше одного. Найчастіше використовується не більше трьох.
Сигнали, що надходять на вхід, та одержувані з виходу не бінарні, а можуть кодуватися десятковими числами, які потрібно нормалізувати, так щоб значення були на відрізку була від 0 до 1 (нормалізація необхідна як мінімум для вихідних даних, згідно з функцією активації — сигмоїдою).
Допускається довільна архітектура зв'язків (у тому числі, і повнозв'язані мережі).
Помилка мережі обчислюється не як число неправильних образів після ітерації навчання, а як деяка статистична міра нев'язаності між потрібним і одержаним значенням.
Навчання проводиться не до відсутності помилок після навчання, а до стабілізації вагових коефіцієнтів при навчанні або переривається раніше, щоб уникнути перенавчання.

Багатошаровий перцептрон буде володіти функціональними перевагами в порівнянні з перцептроном Розенблатта лише в тому випадку, якщо у відповідь на стимули буде виконана не просто якась реакція (оскільки вже в перцептроні може бути отримана реакція кожного типу), а виразиться у підвищенні ефективності вироблення таких реакцій. Наприклад, покращиться здатність до узагальнення, тобто до правильних реакцій на стимули, яким перцептрон не навчався. Але зараз таких узагальнюючих теорем немає, існує лише маса досліджень різних стандартизованих тестів, на яких порівнюються різні архітектури.

Див. також

Література

Ф. Уоссермен Нейрокомпьютерная техника: Теория и практика. — М.: «Мир», 1992.
Саймон Хайкин Нейронные сети: полный курс = Neural Networks: A Comprehensive Foundation. — 2-е изд. — М.: «Вильямс», 2006. — С.

1104. — ISBN 0-13-273350-1