Частина інформації в цій статті застаріла. Ви можете допомогти, оновивши її. Можливо, сторінка обговорення містить зауваження щодо потрібних змін.(липень 2023)
Ця сторінка — хронологія розвитку машинного навчання. До неї включено основні відкриття, досягнення, віхи та інші важливі події у машинному навчанні.
Огляд
Десятиріччя
Підсумки
до 1950-х
Відкрито та вдосконалено статистичні методи.
1950-ті
Проводять піонерські дослідження машинного навчання з використанням простих алгоритмів.
Песимізм щодо ефективності машинного навчання спричинив «зиму ШІ».
1980-ті
Повторне відкриття зворотного поширення викликає пожвавлення досліджень машинного навчання.
1990-ті
Робота над машинним навчанням переходить від підходу, керованого знаннями, до підходу, керованого даними. Науковці починають створювати програми для комп'ютерів, щоб аналізувати великі обсяги даних і робити висновки — або «навчатися» — з результатів.[2] Набувають популярності опорновекторні машини (ОВМ, англ.SVM) та рекурентні нейронні мережі (РНМ, англ.RNN).[3] Започатковано галузі обчислювальної складності через нейронні мережі та надтюрінгові обчислення.[4]
Стає здійсненним глибоке навчання, що призводить до того, що машинне навчання стає невід'ємною частиною багатьох широко використовуваних програмних служб і застосунків. Глибоке навчання стимулює величезний поступ у баченні та обробці тексту.
2020-ті
Породжувальний ШІ призводить до революційних моделей, створюючи розмаїття моделей-основ[en], як власницьких, так і відкритих, зокрема, уможливлюючи такі продукти як ChatGPT (на основі тексту) та Stable Diffusion (на основі зображень). Машинне навчання та ШІ входять у широку громадську свідомість. Комерційний потенціал ШІ на основі машинного навчання призводить до значного зростання оцінок вартості компаній, пов'язаних з ШІ.
Алан Тюрінг пропонує «самонавчальну машину», що може навчатися та стати штучним інтелектом. Конкретна пропозиція Тюрінга провіщує генетичні алгоритми.[13]
Артур Семюель приєднується до лабораторії Poughkeepsie в IBM і починає працювати над деякими з найперших програмам машинного навчання, першими створюючи програми, які грають у шашки.[15]
Було створено алгоритм найближчого сусіда, що є початком базового розпізнавання образів. Цей алгоритм використовували для прокладання маршрутів.[2]
1969
Обмеження нейронних мереж
Марвін Мінскі та Сеймур Пейперт публікують свою книгу «Перцептрони[en]», що описує деякі з обмежень перцептронів та нейронних мереж. Інтерпретацію, яку показує книга, що нейронні мережі фундаментально обмежені, розглядають як перепону для досліджень нейронних мереж.[19]
1970
Автоматичне диференціювання (зворотне поширення)
Сеппо Ліннаінмаа[en] публікує загальний метод автоматичного диференціювання (АД, англ.AD) дискретних зв'язних мереж вкладених диференційовних функцій.[20][21] Це відповідає сучасній версії зворотного поширення, але ще не має цієї назви.[22][23][24][25]
1979
Стенфордський візок
Студенти у Стенфордському університеті розроблюють візок, що може пересуватися й уникати перешкод у кімнаті.[2]
Джеральд Деджонг пропонує навчання на основі пояснень (англ.Explanation Based Learning), в якому комп'ютерний алгоритм аналізує дані та створює загальне правило, якому він може слідувати, та відкидати неважливі дані.[2]
Курт Горнік[de] доводить, що стандартні багатошарові мережі прямого поширення здатні наближувати будь-яку борелево вимірну функцію з одного скінченновимірного простору до іншого до будь-якого ступеню точності, за умови наявності достатньої кількості прихованих вузлів.
Комерціалізація машинного навчання на персональних комп'ютерах
Axcelis, Inc. випускає Evolver, перший програмний пакет для комерціалізації використання генетичних алгоритмів на персональних комп'ютерах.[32]
1992
Досягнення
Машини, які грають у короткі нарди
Джеральд Тезауро розрозбяє ЧР-нарди (англ.TD-Gammon), комп'ютерну програму для гри в короткі нарди, яка використовує штучну нейронну мережу, натреновану з використанням методу часових різниць (звідси «ЧР» у назві). ЧР-нарди здатні конкурувати, але не завжди перевершувати здібності найкращих серед людей гравців у короткі нарди.[33]
Перший випуск Torch, бібліотеки програмного забезпечення машинного навчання.[38]
2006
Netflix Prize
Netflix запускає змагання Netflix Prize[en]. Мета змагання — за допомогою машинного навчання перевершити точність власного програмного забезпечення рекомендацій Netflix у передбачуванні оцінки фільму користувачем за наявних оцінок цим користувачем попередніх фільмів щонайменше на 10 %.[39] Цю премію було виграно 2009 року.
2009
Досягнення
ImageNet
Створено ImageNet[en]. Це велика база даних зображень, створена Фей-Фей Лі зі Стенфордського університету, яка усвідомила, що найкращі алгоритми машинного навчання не працюватимуть добре, якщо дані не відображатимуть реального світу.[40] Для багатьох ImageNet стала каталізатором буму ШІ[41] XXI сторіччя.
2010
Змагання Kaggle
Запущено Kaggle, вебсайт, що слугує платформою для змагань з машинного навчання.[42]
Команда Google Brain під проводом Ендрю Ина та Джеффа Діна створює нейронну мережу, яка навчається розпізнавати котів, переглядаючи немічені зображення, взяті з кадрів відео YouTube.[44][45]
2012
Відкриття
Візуальне розпізнавання
Стаття та алгоритм AlexNet досягли проривних результатів у розпізнаванні зображень на еталоні ImageNet. Це сприяло популяризації глибоких нейронних мереж.[46]
2013
Відкриття
Вкладання слів
Широко цитована стаття, що отримала прізвисько word2vec, революціонізувала обробку тексту в машинному навчанні. Вона показала, як кожне слово можливо перетворити на послідовність чисел (вкладення слів), використання цих векторів революціонізувало обробку тексту в машинному навчанні.[47]
2014
Стрибок у розпізнаванні облич
Дослідники з Facebook публікують свою працю щодо DeepFace[en], системи, яка використовує нейронні мережі й ідентифікує обличчя з точністю 97,35 %. Ці результати є покращенням на понад 27 % відносно попередніх систем, і складають конкуренцію людській продуктивності.[48]
2014
Sibyl
Дослідники з Google розкрили деталі своєї праці над Sibyl,[49] власною платформою для масово паралельного машинного навчання, яку Google використовує всередині для передбачування поведінки користувачів та надавання рекомендацій.[50]
2016
Досягнення
Перемога над людьми в ґо
Програма AlphaGo від Google стає першою програмою комп'ютерного ґо, яка перемогла фахового людського гравця без обмежень,[51] використовуючи поєднання методик машинного навчання та пошуку деревами.[52] Пізніше вдосконалена як AlphaGo Zero[en], а 2017 року узагальнена на шахи та додаткові ігри для двох гравців як AlphaZero.
2017
Відкриття
Трансформер
Команда Google Brain винайшла архітектуру трансформера,[53] що уможливила швидше паралельне тренування нейронних мереж на послідовних даних, таких як текст.
AlphaFold 2 (2021), команда, яка використовувала AlphaFold 2 (2020), підтвердила це місце на змаганнях КАСП у листопаді 2020 року. Ця команда досягла набагато вищого рівня точності, ніж будь-яка інша група. Вона набрала понад 90 балів для приблизно двох третин з білків у випробуванні КАСП на глобальну відстань (англ.GDT), випробуванні, яка вимірює ступінь подібності передбаченої обчислювальною програмою структури до експериментально встановленої в лабораторії, де 100 це повний збіг, у межах граничної відстані, яку використовують для обчислення GDT.[55]
↑Solomonoff, R.J. (June 1964). A formal theory of inductive inference. Part II. Information and Control(англ.). 7 (2): 224—254. doi:10.1016/S0019-9958(64)90131-7.
↑O'Connor, J J; Robertson, E F. Pierre-Simon Laplace(англ.). School of Mathematics and Statistics, University of St Andrews, Scotland. Процитовано 15 червня 2016.
↑Langston, Nancy (2013). Mining the Boreal North. American Scientist(англ.). 101 (2): 1. doi:10.1511/2013.101.1. Заглиблюючись у текст роману в віршах Олександра Пушкіна «Євгеній Онєгін», Марков годинами перебирав схеми голосних та приголосних. 23 січня 1913 року він узагальнив свої висновки у зверненні до Імператорської академії наук у Санкт-Петербурзі. Його аналіз не змінив розуміння чи оцінок роману Пушкіна, але методика, яку він розробив, відома тепер як марковський ланцюг, розширила теорію ймовірностей у новому напрямку.
↑McCulloch, Warren S.; Pitts, Walter (December 1943). A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics(англ.). 5 (4): 115—133. doi:10.1007/BF02478259.
↑Turing, A. M. (1 жовтня 1950). I.—COMPUTING MACHINERY AND INTELLIGENCE. Mind(англ.). LIX (236): 433—460. doi:10.1093/mind/LIX.236.433.
↑Fukushima, Kunihiko (October 1979). 位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン --- [Neural network model for a mechanism of pattern recognition unaffected by shift in position — Neocognitron —]. Trans. IECE(яп.). J62-A (10): 658—665.
↑Fukushima, Kunihiko (April 1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics(англ.). 36 (4): 193—202. doi:10.1007/BF00344251. PMID7370364. S2CID206775608.
↑Tesauro, Gerald (March 1995). Temporal difference learning and TD-Gammon. Communications of the ACM(англ.). 38 (3): 58—68. doi:10.1145/203330.203343. S2CID8763243.
↑Tin Kam Ho (1995). Random decision forests. Proceedings of 3rd International Conference on Document Analysis and Recognition(англ.). Т. 1. с. 278—282. doi:10.1109/ICDAR.1995.598994. ISBN0-8186-7128-9.
↑Canini, Kevin; Chandra, Tushar; Ie, Eugene; McFadden, Jim; Goldman, Ken; Gunter, Mike; Harmsen, Jeremiah; LeFevre, Kristen; Lepikhin, Dmitry; Llinares, Tomas Lloret; Mukherjee, Indraneel; Pereira, Fernando; Redstone, Josh; Shaked, Tal; Singer, Yoram. Sibyl: A system for large scale supervised machine learning(PDF). Jack Baskin School of Engineering(англ.). UC Santa Cruz. Архів оригіналу(PDF) за 15 серпня 2017. Процитовано 8 червня 2016.