Машина Больцмана

Маши́на Бо́льцмана (також звана моде́ллю Ше́ррінгтона — Кіркпа́тріка із зо́внішнім по́лем та стохасти́чною моде́ллю І́зінга — Ле́нца — Лі́ттла, англ. Boltzmann machine, Sherrington–Kirkpatrick model with external field, stochastic Ising–Lenz–Little model) — це стохастична модель спінового скла із зовнішнім полем, тобто модель Шеррінгтона — Кіркпатріка(інші мови),^[1] що є стохастичною моделлю Ізінга. Це методика статистичної фізики, яку застосовують у контексті когнітивної науки.^[2] Її також класифікують як марковське випадкове поле.^[3]

Машини Больцмана теоретично захопливі через локальність і геббову природу їхнього алгоритму тренування (тренуються за геббовим правилом), а також через їхню паралельність і подібність їхньої динаміки до простих фізичних процесів. Машини Больцмана з необмеженою зв'язністю не виявилися корисними для практичних задач у машинному навчанні та висновуванні, але якщо зв'язність належним чином обмежено, то навчання можливо зробити достатньо ефективним, щоби воно було корисним для практичних задач.^[4]

Їх назвали на честь больцманового розподілу у статистичній механіці, який використовують у їхній функції відліків. Їх активно популяризували та пропагували Джефрі Гінтон, Террі Сейновський^[en] та Ян ЛеКун у спільнотах когнітивних наук та машинного навчання.^[2] Як загальніший клас у машинному навчанні ці моделі називають «моделями на основі енергії^[en]» (англ. "energy based models", EBM), оскільки як відправну точку для визначення навчального завдання використовують гамільтонові функції спінового скла.^[5]

Машина Больцмана, як і модель Шеррінгтона — Кіркпатріка(інші мови), це мережа вузлів із загальною «енергією» (гамільтоновою функцією), визначеною для загальної мережі. Її вузли видають бінарні результати. Ваги машини Больцмана стохастичні. Глобальна енергія ${\displaystyle E}$ у машині Больцмана ідентична за виглядом глобальній енергії мереж Гопфілда та моделей Ізінга:

${\displaystyle E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)}$

Де:

• ${\displaystyle w_{ij}}$ — сила зв'язку між вузлом ${\displaystyle j}$ та вузлом ${\displaystyle i}$.
• ${\displaystyle s_{i}}$ — стан, ${\displaystyle s_{i}\in \{0,1\}}$, вузла ${\displaystyle i}$.
• ${\displaystyle \theta _{i}}$ — зміщення вузла ${\displaystyle i}$ у функції глобальної енергії. (${\displaystyle -\theta _{i}}$ це поріг збудження для цього вузла.)

Часто ваги ${\displaystyle w_{ij}}$ подають як симетричну матрицю ${\displaystyle W=[w_{ij}]}$ з нулями по діагоналі.

Різницю в глобальній енергії, що є результатом дорівнювання одного вузла ${\displaystyle i}$ 0 (off) чи 1 (on), позначувану через ${\displaystyle \Delta E_{i}}$, виходячи з симетричної матриці ваг, задають як

${\displaystyle \Delta E_{i}=\sum _{j>i}w_{ij}\,s_{j}+\sum _{j<i}w_{ji}\,s_{j}+\theta _{i}}$

Це можливо виразити як різницю енергій двох станів:

${\displaystyle \Delta E_{i}=E_{\text{i=off}}-E_{\text{i=on}}}$

Заміна енергії кожного стану його відносною ймовірністю відповідно до больцманового множника^[en] (властивості больцманового розподілу, що енергія стану пропорційна від'ємній логарифмічній ймовірності цього стану), дає:

${\displaystyle \Delta E_{i}=-k_{B}\,T\ln(p_{\text{i=off}})-(-k_{B}\,T\ln(p_{\text{i=on}}))}$

де ${\displaystyle k_{B}}$ — больцманова стала, що вбирається штучним поняттям температури ${\displaystyle T}$. Потім ми змінюємо порядок членів і вважаємо, що ймовірності увімкненості та вимкненості вузла повинні давати в сумі одиницю:

${\displaystyle {\frac {\Delta E_{i}}{T}}=\ln(p_{\text{i=on}})-\ln(p_{\text{i=off}})}$

${\displaystyle {\frac {\Delta E_{i}}{T}}=\ln(p_{\text{i=on}})-\ln(1-p_{\text{i=on}})}$

${\displaystyle {\frac {\Delta E_{i}}{T}}=\ln \left({\frac {p_{\text{i=on}}}{1-p_{\text{i=on}}}}\right)}$

${\displaystyle -{\frac {\Delta E_{i}}{T}}=\ln \left({\frac {1-p_{\text{i=on}}}{p_{\text{i=on}}}}\right)}$

${\displaystyle -{\frac {\Delta E_{i}}{T}}=\ln \left({\frac {1}{p_{\text{i=on}}}}-1\right)}$

${\displaystyle \exp \left(-{\frac {\Delta E_{i}}{T}}\right)={\frac {1}{p_{\text{i=on}}}}-1}$

У розв'язку для ${\displaystyle p_{\text{i=on}}}$ ймовірність того, що ${\displaystyle i}$-й вузол увімкнено, дає

${\displaystyle p_{\text{i=on}}={\frac {1}{1+\exp(-{\frac {\Delta E_{i}}{T}})}}}$

де скаляр ${\displaystyle T}$ називають температурою системи. Це відношення є джерелом логістичної функції, яку можна знайти у ймовірнісних виразах варіантів машини Больцмана.

Ця мережа працює шляхом циклічного обирання вузла та скидання його стану. Після достатньо тривалої роботи за певної температури, відповідно до больцманового розподілу, ймовірність глобального стану мережі залежить лише від енергії цього глобального стану, а не від початкового стану, з якого почався процес. Це означає, що логарифмічні ймовірності глобальних станів стають лінійними за своїми енергіями. Цей зв'язок справедливий, коли машина перебуває «у стані теплової рівноваги», тобто розподіл імовірностей глобальних станів збігся. При запуску мережі починаючи з високої температури її температура поступово знижується до досягнення теплової рівноваги за нижчої температури. Вона тоді може збігтися до розподілу, де рівень енергії коливається навколо глобального мінімуму. Цей процес називають імітуванням відпалювання.

Щоби натренувати мережу таким чином, щоби був шанс її збігання до глобального стану відповідно до зовнішнього розподілу над цими станами, ваги мусить бути встановлено так, щоби глобальні стани з найвищою ймовірністю отримували найменшу енергію. Це робиться тренуванням.

Вузли в машині Больцмана поділяють на «видимі» (англ. 'visible') вузли, V, та «приховані» (англ. 'hidden') вузли, H. Видимі вузли — це ті, які отримують інформацію з «середовища», тобто тренувальний набір — це набір двійкових векторів над множиною V. Розподіл над тренувальним набором позначують через ${\displaystyle P^{+}(V)}$.

Розподіл над глобальними станами збігається, коли машина Больцмана досягає теплової рівноваги. Ми позначуємо цей розподіл, після відособлення його над прихованими вузлами, через ${\displaystyle P^{-}(V)}$.

Наша мета — наблизити «справжній» розподіл ${\displaystyle P^{+}(V)}$, використовуючи ${\displaystyle P^{-}(V)}$, вироблений машиною. Подібність цих двох розподілів вимірюють розходженням Кульбака — Лейблера, ${\displaystyle G}$:

${\displaystyle G=\sum _{v}{P^{+}(v)\ln \left({\frac {P^{+}(v)}{P^{-}(v)}}\right)}}$

де підсумовування йде за всіма можливими станами ${\displaystyle V}$. ${\displaystyle G}$ є функцією ваг, оскільки вони визначають енергію стану, а енергія, як обіцяє больцманів розподіл, визначає ${\displaystyle P^{-}(v)}$. Алгоритм градієнтного спуску над ${\displaystyle G}$ змінює задану вагу ${\displaystyle w_{ij}}$ відніманням часткової похідної ${\displaystyle G}$ за цією вагою.

Тренування машини Больцмана включає дві почергові фази. Одна — це «позитивна» фаза, коли стани видимих вузлів прив'язуються до конкретного бінарного вектора стану, вибраного з тренувального набору (відповідно до ${\displaystyle P^{+}}$). Інша — «негативна» фаза, коли мережі дозволяють вільно працювати, тобто лише стан вузлів входу визначається зовнішніми даними, але вузлам виходу дозволено плавати. Градієнт відносно заданої ваги, ${\displaystyle w_{ij}}$, задається рівнянням^[6]

${\displaystyle {\frac {\partial {G}}{\partial {w_{ij}}}}=-{\frac {1}{R}}[p_{ij}^{+}-p_{ij}^{-}]}$

де

• ${\displaystyle p_{ij}^{+}}$ — ймовірність того, що вузли i та j обидва увімкнено, коли машина знаходиться в рівновазі у позитивній фазі.
• ${\displaystyle p_{ij}^{-}}$ — ймовірність того, що вузли i та j обидва увімкнено, коли машина знаходиться в рівновазі у негативній фазі.
• ${\displaystyle R}$ позначує темп навчання

Цей результат випливає з того, що за теплової рівноваги ймовірність ${\displaystyle P^{-}(s)}$ будь-якого глобального стану ${\displaystyle s}$, коли мережа працює вільно, задається больцмановим розподілом.

Це правило навчання біологічно вірогідне, оскільки єдина інформація, необхідна для зміни ваг, надається «локальною» інформацією. Тобто, з'єднання (синапс, із біологічного погляду) не потребує інформації ні про що, крім двох нейронів, які воно з'єднує. Це біологічно реалістичніше, ніж інформація, необхідна з'єднанню в багатьох інших алгоритмах тренування нейронних мереж, таких як зворотне поширення.

Навчання машини Больцмана не використовує алгоритм очікування-максимізації, широко вживаний у машинному навчанні. З мінімізуванням КЛ-розходження, воно рівнозначне максимізуванню логарифмічної ймовірності даних. Таким чином, процедура тренування виконує градієнтне сходження за логарифмом правдоподібності спостережуваних даних. Це відрізняється від алгоритму очікування-максимізації, де апостеріорний розподіл прихованих вузлів мусить бути обчислено до максимізування очікуваного значення повної правдоподібності даних під час кроку максимізування.

Тренування зміщень відбувається подібно, але використовує активність лише одного вузла:

${\displaystyle {\frac {\partial {G}}{\partial {\theta _{i}}}}=-{\frac {1}{R}}[p_{i}^{+}-p_{i}^{-}]}$

Теоретично, машина Больцмана це досить загальне обчислювальне середовище. Наприклад, тренована на фотографіях, машина теоретично змоделювала би розподіл фотографій, і цю модель можливо було би використовувати, щоби, наприклад, доповнювати^[en] часткову фотографію.

На жаль, машини Больцмана зазнають серйозної практичної проблеми, а саме того, що вони, як видається, перестають правильно навчатися, коли машина масштабується до чогось більшого за тривіальний розмір.^{[джерело?]} Це пов'язано з важливими ефектами, зокрема:

• час, необхідний для збору статистики рівноваги, зростає експоненційно з розміром машини та величиною сил з'єднань^{[джерело?]}
• сили з'єднань пластичніші тоді, коли з'єднані вузли мають проміжні ймовірності збудження між нулем та одиницею, що призводить до так званої пастки дисперсії (англ. variance trap). Чистий ефект полягає в тому, що шум змушує сили з'єднань слідувати випадковим блуканням, доки збудження не наситяться.

Хоч навчання у звичайних машинах Больцмана і непрактичне, воно може бути досить дієвим в обмеженій машині Больцмана (ОМБ, англ. restricted Boltzmann machine, RBM), яка не допускає внутрішньошарових з'єднань з-поміж прихованих та видимих вузлів, тобто немає з'єднань між видимими й видимими та прихованими й прихованими вузлами. Після тренування однієї ОМБ збудження її прихованих вузлів можливо розглядати як дані для тренування ОМБ вищого рівня. Цей метод складання (англ. stacking) ОМБ уможливлює ефективне тренування багатьох шарів прихованих вузлів і є однією з найпоширеніших стратегій глибокого навчання. Породжувальна модель покращується з додаванням кожного нового шару.

Розширення обмеженої машини Больцмана дозволяє використовувати дійснозначні дані замість двійкових.^[7]

Один із прикладів практичного застосування ОМБ — розпізнавання мовлення.^[8]

Глибока машина Больцмана (ГМБ, англ. deep Boltzmann machine, DBM) — це один з типів двійкового парного марковського випадкового поля (неорієнтованої ймовірнісної графової моделі) з кількома шарами прихованих випадкових змінних. Це мережа симетрично спарованих стохастичних двійкових вузлів^[en]. Вона складається з набору видимих вузлів ${\displaystyle {\boldsymbol {\nu }}\in \{0,1\}^{D}}$ та шарів прихованих вузлів ${\displaystyle {\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}}$. Жодне з'єднання не з'єднує вузли одного й того ж шару (як і в ОМБ). Для ГМБ ймовірністю, приписуваною векторові ν, є

${\displaystyle p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},}$

де ${\displaystyle {\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}}$ — набір прихованих вузлів, а ${\displaystyle \theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}}$ — параметри моделі, що подають взаємодії видимі-приховані та приховані-приховані.^[9] У ГМП лише два верхні шари утворюють обмежену машину Больцмана (що є неорієнтованою графовою моделлю), тоді як нижні шари утворюють орієнтовану породжувальну модель. У ГМБ всі шари симетричні та неорієнтовані.

Як і ГМП, ГМБ можуть навчатися складних та абстрактних внутрішніх подань входу в таких завданнях як розпізнавання об'єктів^[en] та мовлення, використовуючи обмежені мічені дані для тонкого налаштовування подань, побудованих із використанням великого набору немічених сенсо́рних вхідних даних. Проте, на відміну від ГМП та глибоких згорткових нейронних мереж, вони здійснюють процедуру висновування та тренування в обох напрямках, висхідному та низхідному, що дозволяє ГМБ краще розкривати подання вхідних структур.^[10][11][12]

Проте низька швидкість ГМБ обмежує їхню продуктивність та функціональність. Через те, що навчання точної максимальної правдоподібності для ГМБ непіддатливе, можливе лише навчання приблизної максимальної правдоподібності. Іншим варіантом є використання висновування осередненого поля (англ. mean-field inference) для оцінювання залежних від даних очікувань та наближення очікуваної достатньої статистики застосуванням методів Монте-Карло марковських ланцюгів (МКМЛ).^[9] Це наближене висновування, що мусить бути здійснено для кожного перевірного входу, приблизно в 25—50 разів повільніше за єдиний висхідний прохід у ГМБ. Це робить спільну оптимізацію непрактичною для великих наборів даних і обмежує використання ГМБ для таких завдань як подання ознак.

Потреба в глибокому навчанні з дійснозначними входами, як у гауссових ОМБ, привела до піково-пластинної ОМБ (ппОМБ, англ. spike-and-slab RBM, ssRBM), яка моделює неперервнозначні входи двійковими^[en] латентними змінними.^[13] Подібно до базових ОМБ та їхніх варіантів, піково-пластинна ОМБ це двочастковий граф, але, як і в ГОМБ, видимі вузли (входи) дійснозначні. Різниця полягає у прихованому шарі, де кожен прихований вузол має змінну бінарного піку (англ. spike) та змінну дійснозначної пластини (англ. slab). Пік — це дискретна маса ймовірності в нульовій точці, тоді як пластина — це густина в неперервній області;^[14] їхня суміш утворює апріорне.^[15]

Розширення ппОМБ під назвою µ-ппОМБ забезпечує додаткові моделювальні потужності за допомогою додаткових членів у функції енергії. Один із цих членів дає змогу моделі формувати умовний розподіл пікових змінних знеособленням пластинних змінних за заданого спостереження.

У загальнішій математичній постановці розподіл Больцмана також відомий як міра Ґіббза^[en]. У статистиці й машинному навчанні це називають логарифмічно-лінійною моделлю^[en]. У глибокому навчанні розподіл Больцмана використовують у вибірковому розподілі стохастичних нейронних мереж, таких як машина Больцмана.

Машина Больцмана ґрунтується на моделі спінового скла стохастичної моделі Ізінга Шеррінгтона — Кіркпатріка.^[16]

Первинний внесок у застосування таких моделей на основі енергії у когнітивній науці з'явився у статтях Гінтона та Сейновського.^[17][18]

Засаднича публікація Джона Гопфілда поєднала фізику та статистичну механіку, згадавши спінове скло.^[19]

Ідея застосування моделі Ізінга з ґіббзовим вибиранням^[en] з відпалюванням присутня в проєкті Copycat^[en] Дугласа Гофстедтера.^[20][21]

Подібні ідеї (зі зміною знаку функції енергії) зустрічаються в «Теорії гармонії» Пола Смоленського^[en].

Явна аналогія, проведена зі статистичною механікою у формулюванні машини Больцмана, привела до використання термінології, запозиченої з фізики (наприклад, «енергія», а не «гармонія»), що стала стандартом у цій галузі. Широке застосування цієї термінології, можливо, було заохочено тим фактом, що її використання призвело до прийняття різноманітних понять та методів зі статистичної механіки. Різноманітні пропозиції щодо використання імітування відпалювання для висновування були очевидно незалежними.

Моделі Ізінга стали вважати окремим випадком марковських випадкових полів, які знаходять широке застосування в лінгвістиці, робототехніці, комп'ютернім баченні та штучному інтелекті.

• Обмежена машина Больцмана
• Машина Гельмгольца^[en]
• Марковське випадкове поле
• Модель Ізінга
• Мережа Гопфілда
• Правило навчання,^[22] яке використовує умовну «локальну» інформацію, може бути отримано з оберненого вигляду ${\displaystyle G}$,

${\displaystyle G'=\sum _{v}{P^{-}(v)\ln \left({\frac {P^{-}(v)}{P^{+}(v)}}\right)}}$ .

• Hinton, G. E.; Sejnowski, T. J. (1986). D. E. Rumelhart; J. L. McClelland (ред.). Learning and Relearning in Boltzmann Machines (PDF). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations (англ.): 282—317. Архів оригіналу (PDF) за 5 липня 2010.
• Hinton, G. E. (2002). Training Products of Experts by Minimizing Contrastive Divergence (PDF). Neural Computation^[en] (англ.). 14 (8): 1771—1800. CiteSeerX 10.1.1.35.8613. doi:10.1162/089976602760128018. PMID 12180402. S2CID 207596505.
• Hinton, G. E.; Osindero, S.; Teh, Y. (2006). A fast learning algorithm for deep belief nets (PDF). Neural Computation^[en] (англ.). 18 (7): 1527—1554. CiteSeerX 10.1.1.76.1541. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950.
• Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817 (англ.)
• Montufar Guido. Restricted Boltzmann Machines: Introduction and Review. — MPI MiS^[en], 2018.

• Стаття Гінтона в Сколарпедії про машини Больцмана (англ.)
• Промова Джефрі Гінтона в Google (англ.)