Model generatiu basat en fluxos

Un model generatiu basat en flux és un model generatiu utilitzat en l'aprenentatge automàtic que modela explícitament una distribució de probabilitat aprofitant el flux normalitzador, ^[1][2] que és un mètode estadístic que utilitza la llei de probabilitats de canvi de variable per transformar un distribució en un de complex.

La modelització directa de la probabilitat ofereix molts avantatges. Per exemple, la probabilitat logarítmica negativa es pot calcular directament i minimitzar com a funció de pèrdua. A més, es poden generar mostres noves mitjançant el mostreig de la distribució inicial i l'aplicació de la transformació del flux.

En canvi, molts mètodes alternatius de modelització generativa, com ara el codificador automàtic variacional (VAE) i la xarxa adversària generativa, no representen explícitament la funció de probabilitat.^[3]

Deixar ${\displaystyle z_{0}}$ ser una variable aleatòria (possiblement multivariant) amb distribució ${\displaystyle p_{0}(z_{0})}$.

Per ${\displaystyle i=1,...,K}$, deixar ${\displaystyle z_{i}=f_{i}(z_{i-1})}$ ser una seqüència de variables aleatòries transformades de ${\displaystyle z_{0}}$. Les funcions ${\displaystyle f_{1},...,f_{K}}$ hauria de ser inversible, és a dir, la funció inversa ${\displaystyle f_{i}^{-1}}$ existeix. La sortida final ${\displaystyle z_{K}}$ modela la distribució objectiu.

La probabilitat de registre de ${\displaystyle z_{K}}$ és (vegeu la derivació):

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

Per calcular de manera eficient la probabilitat de registre, les funcions ${\displaystyle f_{1},...,f_{K}}$ hauria de ser 1. fàcil d'invertir, i 2. fàcil de calcular el determinant del seu jacobià. A la pràctica, les funcions ${\displaystyle f_{1},...,f_{K}}$ es modelen mitjançant xarxes neuronals profundes i s'entrenen per minimitzar la probabilitat de registre negatiu de les mostres de dades de la distribució objectiu. Aquestes arquitectures solen estar dissenyades de manera que només cal el pas endavant de la xarxa neuronal tant en els càlculs inversos com en els determinants jacobians. Alguns exemples d'aquestes arquitectures inclouen NICE, RealNVP, i Glow.^[4]

Considereu ${\displaystyle z_{1}}$ i ${\displaystyle z_{0}}$. Tingues en compte que ${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$.

Pel canvi de fórmula variable, la distribució de ${\displaystyle z_{1}}$ és:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

On ${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$ és el determinant de la matriu jacobiana de ${\displaystyle f_{1}^{-1}}$.

Segons el teorema de la funció inversa:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

Per la identitat ${\displaystyle \det(A^{-1})=\det(A)^{-1}}$ (on ${\displaystyle A}$ és una matriu invertible), tenim:

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

La probabilitat de registre és així:

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

En general, l'anterior s'aplica a qualsevol ${\displaystyle z_{i}}$ i ${\displaystyle z_{i-1}}$. Des de ${\displaystyle \log p_{i}(z_{i})}$ és igual a ${\displaystyle \log p_{i-1}(z_{i-1})}$ restat per un terme no recursiu, podem inferir per inducció que:

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$