Логистичка регресија

У теорији вероватноће и статистици, логистичка расподела је континуирана расподела вероватноће . Његова кумулативна функција расподеле је логистичка функција, која се појављује у логистичкој регресији и напајању неуронским мрежама . Обликом подсећа на нормалну расподелу, али има теже репове (већи куртозис, издуженост). Логистичка расподела је заправо посебан случај Tukey-еве ламбда расподеле .

Када је параметар локације μ = 0 и параметар размере s = 1, онда је функција густине вероватноће логистичке дистрибуције дата са:

${\displaystyle {\begin{aligned}f(x;0,1)&={\frac {e^{-x}}{(1+e^{-x})^{2}}}\\[4pt]&={\frac {1}{(e^{x/2}+e^{-x/2})^{2}}}\\[5pt]&={\frac {1}{4}}\operatorname {sech} ^{2}\left({\frac {x}{2}}\right).\end{aligned}}}$

Дакле, генерално говорећи, густина је добијена на следећи начин:

${\displaystyle {\begin{aligned}f(x;\mu ,s)&={\frac {e^{-(x-\mu )/s}}{s\left(1+e^{-(x-\mu )/s}\right)^{2}}}\\[4pt]&={\frac {1}{s\left(e^{(x-\mu )/(2s)}+e^{-(x-\mu )/(2s)}\right)^{2}}}\\[4pt]&={\frac {1}{4s}}\operatorname {sech} ^{2}\left({\frac {x-\mu }{2s}}\right).\end{aligned}}}$

Пошто се ова функција може изразити у квадратном облику хиперболичке секанс функције "sech", понекад се назива sech-квадрирана дистрибуција. ^[1] (Такође можете погледати и: Секанс хиперболични).

Логистичка дистрибуција је добила име по функцији кумулативне дистрибуције, која је пример који припада породици логистичких функција. Кумулативна функција дистрибуције логистичке дистрибуције је такође скалирана верзија хиперболичке тангенте.

${\displaystyle F(x;\mu ,s)={\frac {1}{1+e^{-(x-\mu )/s}}}={\frac {1}{2}}+{\frac {1}{2}}\operatorname {tanh} \left({\frac {x-\mu }{2s}}\right).}$

У овој једначини μ је средња вредност, а s је параметар скалирања који је пропорционалан стандардној девијацији.

Инверзна кумулативна функција расподеле ( квантилна функција ) логистичке расподеле је генерализација логит ( eng. logit ) функције. Њен дериват представља квантилна функција густине. Они су дефинисани на следећи начин:

${\displaystyle Q(p;\mu ,s)=\mu +s\ln \left({\frac {p}{1-p}}\right).}$

${\displaystyle Q'(p;s)={\frac {s}{p(1-p)}}.}$

Алтернативна параметризација логистичке дистрибуције може да се изведе изражавањем параметра који скалира, ${\displaystyle s}$, у односу на стандардне девијације, ${\displaystyle \sigma }$, користећи замену ${\displaystyle s\,=\,q\,\sigma }$, где је${\displaystyle q\,=\,{\sqrt {3}}/{\pi }\,=\,0.551328895\ldots }$ . Алтернативни облици горе наведених функција су са разлогом прилично јасни и директни.

Логистичка расподела — и образац у облику слова S кумулативне функције расподеле ( логистичка функција ) и квантилне функције ( логит функција ) — се у великој мери користе у многим различитим областима.

Једна од најшире коришћених примена је у логистичкој регресији, која се користи за моделирање категоричких зависних променљивих (нпр. одабир да или не или одабир који има 3 или 4 могућности), као што се стандардна линеарна регресија користи за моделирање континуираних променљивих (нпр. користи се за приходе или становништво). Конкретно, модели логистичке регресије се могу формулисати као модели латентне променљиве са променљивим грешкама које прате логистичку расподелу. Ова фраза је уобичајена у теорији модела дискретног избора, где логистичка дистрибуција игра исту улогу у логистичкој регресији као нормална дистрибуција у пробит ( eng. Probit ) регресији . Логистичка и нормална дистрибуција заиста имају прилично сличан облик. Међутим, логистичка дистрибуција има теже репове, што често повећава робусност анализа заснованих на њој у поређењу са коришћењем нормалне дистрибуције.

PDF ове дистрибуције има идентичан функционални облик као и извод Фермијеве функције . У теорији својстава електрона у полупроводницима и металима, овај дериват служи за одређивање релативне тежине различитих енергија електрона које су везане за њихов допринос у транспорту електрона. Они нивои енергије чије су енергије најближе „средњој вредности“ дистрибуције ( Фермијеви нивои ) доминирају процесима као што је електронска проводљивост, са извесним мрљама изазваним температуром. ^{[2] ‍:34} Међутим, имајте на уму да је одговарајућа расподела вероватноће у Ферми–Дираковој статистици заправо једноставна Бернулијева расподела, са фактором вероватноће која је дата Фермијевом функцијом.

Логистичка расподела настаје као гранична расподела пригушеног насумичног кретања коначне брзине која је описана телеграфским процесом у коме насумична времена између узастопних промена брзине имају независне експоненцијалне расподеле са линеарно растућим параметрима. ^[3]

У хидрологији се да је расподела дуготрајног протицања реке и падавина (нпр. месечни и годишњи укупни износи који се састоје од збира 30 односно 360 дневних вредности) често сматра скоро нормалном у складу са централном граничном теоремом . ^[4] Нормална расподела, међутим, захтева нумеричку апроксимацију. Пошто је логистичка расподела, која се може решити аналитички, слична нормалној расподели, може се користити уместо ње. Плава слика илуструје пример прилагођавања логистичке дистрибуције на рангиране октобарске падавине — које су скоро нормално распоређене — и показује појас поузданости од 90% заснован на биномној расподели . Подаци о падавинама су представљени исцртавањем позиција као део анализе кумулативне фреквенције .

Шаховска федерација Сједињених Држава и ФИДЕ су промениле своју формулу за израчунавање рејтинга шаха са нормалне дистрибуције на логистичку дистрибуцију; више прочитајте на чланку о Elo систему оцењивања (заснован је на нормалној дистрибуцији).

• Логистичка дистрибуција имитира sech дистрибуцију .
• Ако је ${\displaystyle X\sim \mathrm {Logistic} (\mu ,s)}$ онда важи да је ${\displaystyle kX+\ell \sim \mathrm {Logistic} (k\mu +\ell ,|k|s)}$ .
• Ако је ${\displaystyle X\sim }$ У(0, 1) онда важи да је ${\displaystyle \mu +s(\log X-\log(1-X))\sim \mathrm {Logistic} (\mu ,s)}$ .
• Ако је ${\displaystyle X\sim \mathrm {Gumbel} (\mu _{X},\beta )}$ и ${\displaystyle Y\sim \mathrm {Gumbel} (\mu _{Y},\beta )}$ одвојено тада ${\displaystyle X-Y\sim \mathrm {Logistic} (\mu _{X}-\mu _{Y},\beta )\,}$ .
• Ако је ${\displaystyle X}$ и ${\displaystyle Y\sim \mathrm {Gumbel} (\mu ,\beta )}$ онда важи да је ${\displaystyle X+Y\nsim \mathrm {Logistic} (2\mu ,\beta )\,}$ (Збир не представља логистичку расподелу). Напоменути да је ${\displaystyle E(X+Y)=2\mu +2\beta \gamma \neq 2\mu =E\left(\mathrm {Logistic} (2\mu ,\beta )\right)}$ .
• Ако је X ~ Logistic(μ, s) онда је exp(X) ~ LogLogistic${\displaystyle \left(\alpha =e^{\mu },\beta ={\frac {1}{s}}\right)}$, иexp(X) + γ ~ shifted log-logistic ${\displaystyle \left(\alpha =e^{\mu },\beta ={\frac {1}{s}},\gamma \right)}$ .
• Ако је Кс ~ Експоненцијални(1) онда важи да је

${\displaystyle \mu +s\log(e^{X}-1)\sim \operatorname {Logistic} (\mu ,s).}$

• Ако је X, Y ~ Exponential(1) онда важи да је

${\displaystyle \mu -s\log \left({\frac {X}{Y}}\right)\sim \operatorname {Logistic} (\mu ,s).}$

• Металог расподела је генерализација логистичке расподеле, у којој се проширује низ степена у смислу ${\displaystyle p}$ који су замењени логистичким параметрима ${\displaystyle \mu }$ и ${\displaystyle \sigma }$ . Резултујућа функција металог квантила има веома флексибилан облик, има једноставну затворену форму и може се уклопити у податке са линеарно најмањим квадратима.

Централни момент n -тог реда се може изразити у једначинама квантилне функције:

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{n}]&=\int _{-\infty }^{\infty }(x-\mu )^{n}\,dF(x)\\&=\int _{0}^{1}{\big (}Q(p)-\mu {\big )}^{n}\,dp=s^{n}\int _{0}^{1}\left[\ln \!\left({\frac {p}{1-p}}\right)\right]^{n}\,dp.\end{aligned}}}$

Овај интеграл је врло добро познат ^[5] и може да се изрази у једначинама Бернулијевих бројева :

${\displaystyle \operatorname {E} [(X-\mu )^{n}]=s^{n}\pi ^{n}(2^{n}-2)\cdot |B_{n}|.}$

• генерализована логистичка дистрибуција
• Tukey-ева ламбда дистрибуција
• лог-логистичка дистрибуција
• полулогистичка дистрибуција
• логистичка регресија
• сигмоидна функција

1. ^ Johnson, Kotz & Balakrishnan (1995, p.116).
2. ^ Davies, John H. (1998). The Physics of Low-dimensional Semiconductors: An Introduction. Cambridge University Press. ISBN 9780521484916. 
3. ^ A. Di Crescenzo, B. Martinucci (2010) "A damped telegraph random process with logistic stationary distribution", J. Appl. Prob., vol. 47, pp. 84–96.
4. ^ Ritzema, H.P., ур. (1994). Frequency and Regression Analysis. Chapter 6 in: Drainage Principles and Applications, Publication 16, International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands. стр. 175–224. ISBN 90-70754-33-9. 
5. ^  A001896

• John S. deCani; Robert A. Stine (1986). „A note on deriving the information matrix for a logistic distribution”. The American Statistician. American Statistical Association. 40: 220—222. doi:10.2307/2684541. 
• N., Balakrishnan (1992). Handbook of the Logistic Distribution. Marcel Dekker, New York. ISBN 0-8247-8587-8. 
• Johnson, N. L.; Kotz, S.; N., Balakrishnan (1995). Continuous Univariate Distributions. Vol. 2 (2nd изд.). ISBN 0-471-58494-0. 

• Модис, Теодор (1992) Предвиђања: потпис друштва открива прошлост и предвиђа будућност, Симон & Шустер, Њујорк. ISBN 0-671-75917-5.

Шаблон:ProbDistributions