Generative pre-trained transformer (GPT, укр.породжувальний попередньо тренований трансформер,[1] також генеративний попередньо тренований трансформер,[2] рідше породжувальний попередньо натренований трансформер[3]) — варіант «штучного інтелекту»[4][5] — це сімейство мовних моделей, які зазвичай навчаються на великому корпусі текстових даних для створення тексту, схожого на текст людини. Вони побудовані з використанням декількох блоків трансформної архітектури. Їх можна точно налаштувати для виконання різноманітних завдань обробки природної мови, таких як генерація тексту, переклад мови та класифікація тексту. «Попереднє навчання» в його назві означає початковий процес навчання на великому текстовому корпусі, під час якого модель вчиться передбачати наступне слово в уривку, що забезпечує надійну основу для успішної роботи моделі в наступних завданнях з обмеженою кількістю даних, що стосуються конкретного завдання.
11 червня 2018 року OpenAI опублікувала статтю під назвою «Покращення розуміння мови за допомогою генеративного попереднього навчання», в якому вони представили Generative Pre-trained Transformer (GPT).[11] На той момент найефективніші нейронні моделі НЛП переважно використовували кероване навчання з великих обсягів даних, позначених вручну. Ця залежність від керованого навчання обмежувала їхнє використання в наборах даних, які не були добре анотованими, а також робила навчання надзвичайно великих моделей надто дорогим і трудомістким;[11][12] багато мов (наприклад, суахілі чи гаїтянська креольська) важко перекладати та інтерпретувати за допомогою таких моделей через брак доступного тексту для побудови корпусу.[12] На відміну від цього, «напівкерований» підхід GPT включав два етапи: некерований генеративний етап «попереднього навчання», на якому мета моделювання мови використовувалася для встановлення початкових параметрів, і керований етап дискримінаційного «тонкого налаштування», на якому ці параметри були адаптовані до цільового завдання.[11]
Торбас, О.О. (2023). Способи використання штучного інтелекту при проведенні наукових досліджень в сфері кримінального процесу на прикладі функціоналу ChatGPT та аналізу категорії «розсуд» у кримінальному провадженні. Правові новели(укр.). Херсон: МУБіП (19): 368—377. doi:10.32782/ln.2023.19.48.
Андрощук, А.Г.; Малюга, О.С. (2024). Використання штучного інтелекту увищій освіті: стан і тенденції. International Science Journal of Education & Linguistics(укр.). 3 (2): 27—35. doi:10.46299/j.isjel.20240302.04.
Босий, М.В. (2023). Академічна доброчесність використання новітньої технології ChatGPT у навчальному процесі закладів вищої освіти. У Артюхов, А.; Віхляєв, М.; Волк, Ю. (ред.). Академічна доброчесність, відкрита наука та штучний інтелект: як створити доброчесне освітнє середовище(укр.). Львів — Торунь: Liha-Pres. с. 62—64. doi:10.36059/978-966-397-345-6-19.
Терещук, С.; Слободянюк, О. (2023). Штучний інтелект як драйвер інновацій в освіті. Збірник наукових праць Кам'янець-Подільського національного університету імені Івана Огієнка(укр.). Кам'янець-Подільський: КПНУ. 29: 36—40. doi:10.32626/2307-4507.2023-29.36-40.
Боднарчук, О. Г. Використання штучного інтелекту ChatGPT у сфері наукових досліджень: переваги та недоліки. У Артюхов, А.; Віхляєв, М.; Волк, Ю. (ред.). Академічна доброчесність, відкрита наука та штучний інтелект: як створити доброчесне освітнє середовище(укр.). Львів — Торунь: Liha-Pres. с. 53—56. doi:10.36059/978-966-397-345-6-15.
Ігнатенко, В.Д. (2024). Місце машинного перекладу у діяльності сучасного перекладача: сучасні дискусії та бачення. У Дьякон, Р.; Мацевко-Бекерська, Л.В.; Бандровська, О.Т.; Бораковський, Л.А. (ред.). Сучасна філологія: теорія, історія, методологія(укр.). Т. 2. Рига, Латвія: Baltija Publishing. с. 523—534. doi:10.30525/978-9934-26-425-2-50.
↑Roose, Kevin (5 грудня 2022). The Brilliance and Weirdness of ChatGPT. The New York Times(амер.). Архів оригіналу за 18 січня 2023. Процитовано 26 грудня 2022. Like those tools, ChatGPT — which stands for "generative pre-trained transformer" — landed with a splash.
