Вчителеве нав'язування

Вчи́телеве нав'я́зування (англ. teacher forcing) — це алгоритм для тренування ваг рекурентних нейронних мереж (РНМ).^[1] Він передбачає подавання спостережуваних значень послідовності (тобто, істинних зразків) назад до РНМ після кожного кроку, відтак змушуючи РНМ триматися близько до істинної послідовності.^[2]

Термін «вчителеве нав'язування» може бути обґрунтовано порівнянням РНМ з людиною-студентом, яка складає багаточастинний іспит, де відповідь на кожну частину (наприклад, математичний розрахунок) залежить від відповіді на попередню частину.^[3] У цій аналогії, замість того, щоб оцінювати кожну відповідь у кінці, з ризиком того, що студент завалить всі окремі частини, навіть якщо помилку він зробив лише в першій, вчитель записує оцінку для кожної окремої частини, а потім говорить студентові правильну відповідь, яка буде використовуватися в наступній частині.^[3]

Використання зовнішнього вчителевого сигналу відрізняється від реальночасового рекурентного навчання (РЧРН, англ. RTRL).^[4] Вчителеві сигнали відомі з осциляторних мереж.^[5] Перспектива полягає в тому, що вчителеве нав'язування допомагає скорочувати час тренування.^[6]

Термін «вчителеве нав'язування» запровадили 1989 року Рональд Вільямс та Давід Ціпсер, які повідомили, що цю методику в той час вже «часто використовували у завданнях з динамічного керованого навчання».^[7]^[2]

Доповідь NeurIPS^[en] 2016 року представила пов'язаний метод «професорового нав'язування» (англ. "professor forcing").^[2]

Див. також

Посилання

↑ John F. Kolen; Stefan C. Kremer (15 січня 2001). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. с. 202–. ISBN 978-0-7803-5369-5.
↑ ^а ^б ^в Lamb, Alex M; Goyal, Anirudh; Zhang, Ying; Zhang, Saizheng; Courville, Aaron C; Bengio, Yoshua (2016). Professor Forcing: A New Algorithm for Training Recurrent Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 29.
↑ ^а ^б Wong, Wanshun (15 жовтня 2019). What is Teacher Forcing?. Towards Data Science (англ.). Процитовано 25 березня 2022.
↑ Zhang, Ming (31 липня 2008). Artificial Higher Order Neural Networks for Economics and Business (англ.). IGI Global. с. 195–. ISBN 978-1-59904-898-7.
↑ Yves Chauvin; David E. Rumelhart (1 лютого 2013). Backpropagation: Theory, Architectures, and Applications (англ.). Psychology Press. с. 473–. ISBN 978-1-134-77581-1.
↑ George Bekey; Kenneth Y. Goldberg (30 листопада 1992). Neural Networks in Robotics (англ.). Springer Science & Business Media. с. 247–. ISBN 978-0-7923-9268-2.
↑ Williams, Ronald J.; Zipser, David (June 1989). A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural Computation (англ.). 1 (2): 270—280. CiteSeerX 10.1.1.52.9724. doi:10.1162/neco.1989.1.2.270. ISSN 0899-7667. S2CID 14711886.

[KolenKremer2001-1] John F. Kolen; Stefan C. Kremer (15 січня 2001). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. с. 202–. ISBN 978-0-7803-5369-5.

[:0-2] а ^б ^в Lamb, Alex M; Goyal, Anirudh; Zhang, Ying; Zhang, Saizheng; Courville, Aaron C; Bengio, Yoshua (2016). Professor Forcing: A New Algorithm for Training Recurrent Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 29.

[:1-3] а ^б Wong, Wanshun (15 жовтня 2019). What is Teacher Forcing?. Towards Data Science (англ.). Процитовано 25 березня 2022.

[Ming2008-4] Zhang, Ming (31 липня 2008). Artificial Higher Order Neural Networks for Economics and Business (англ.). IGI Global. с. 195–. ISBN 978-1-59904-898-7.

[ChauvinRumelhart2013-5] Yves Chauvin; David E. Rumelhart (1 лютого 2013). Backpropagation: Theory, Architectures, and Applications (англ.). Psychology Press. с. 473–. ISBN 978-1-134-77581-1.

[BekeyGoldberg1992-6] George Bekey; Kenneth Y. Goldberg (30 листопада 1992). Neural Networks in Robotics (англ.). Springer Science & Business Media. с. 247–. ISBN 978-0-7923-9268-2.

[WilliamsZipser1989-7] Williams, Ronald J.; Zipser, David (June 1989). A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural Computation (англ.). 1 (2): 270—280. CiteSeerX 10.1.1.52.9724. doi:10.1162/neco.1989.1.2.270. ISSN 0899-7667. S2CID 14711886.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

Вчителеве нав'язування

Див. також

Посилання

Portal di Ensiklopedia Dunia