Доречно-векторна машина

У математиці, доре́чно-ве́кторна маши́на (ДВМ, англ. Relevance Vector Machine, RVM) — це методика машинного навчання, яка використовує баєсове висновування для отримання ощадливих розв'язків для регресії та ймовірнісної класифікації.^[1] ДВМ має однаковий функційний вигляд з опорно-векторною машиною, але забезпечує ймовірнісну класифікацію.

Вона фактично рівнозначна моделі ґаусового процесу з функцією коваріації^[en]

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

де $\varphi$ є ядровою функцією^[en] (зазвичай ґаусовою), $\alpha _{j}$ є дисперсіями апріорних значень елементів вектора вагових коефіцієнтів $w\sim N(0,\alpha ^{-1}I)$ , а $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ є вхідними векторами тренувального набору.^[2]

У порівнянні з опорно-векторними машинами (ОВМ, англ. support vector machines, SVM), баєсове формулювання ДВМ уникає набору вільних параметрів, як в ОВМ (які зазвичай вимагають післяоптимізацій на основі перехресної перевірки). Проте ДВМ використовують метод навчання, подібний до очікування-максимізації, і відтак схильні до ризику локальних мінімумів. Це відрізняється від стандартних алгоритмів на основі послідовної мінімальної оптимізації (ПМО), що використовують ОВМ, які гарантують знаходження глобального оптимуму (для опуклої задачі).

Доречно-векторну машину запатентовано у США^[en] компанією Microsoft.^[3]

Див. також

Ядровий трюк
Масштабування Платта^[en]: перетворює ОВМ на ймовірнісну модель

Примітки

↑ Tipping, Michael E. (2001). Sparse Bayesian Learning and the Relevance Vector Machine. Journal of Machine Learning Research. 1: 211—244. Архів оригіналу за 19 лютого 2020. Процитовано 31 жовтня 2016. (англ.)
↑ Candela, Joaquin Quiñonero (2004). Sparse Probabilistic Linear Models and the RVM. Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines (PDF) (Ph.D.). Technical University of Denmark. Архів оригіналу (PDF) за 8 травня 2016. Процитовано 22 квітня 2016. (англ.)
↑ US 6633857, Michael E. Tipping, "Relevance vector machine" (англ.)