Авторегресійна модель

У статистиці, економетриці та обробці сигналів модель авторегресії (англ. Autoregressive model) (AR) є представленням типу випадкового процесу; як такий, він використовується для опису певних змінних у часі процесів у природі, економіці, поведінці тощо. Авторегресійна модель визначає, що вихідна змінна лінійно залежить від своїх власних попередніх значень і від стохастичного члена (недосконало передбачуваного терміну); таким чином, модель має форму стохастичного різницевого рівняння (або рекурентного співвідношення, яке не слід плутати з диференціальним рівнянням). Разом із моделлю ковзного середнього (MA) це окремий випадок і ключовий компонент більш загальної моделі авторегресії–ковзного середнього (ARMA) та авторегресійної інтегрованої ковзної середньої (ARIMA) моделей часових рядів, які мають складнішу стохастичну структуру; це також окремий випадок векторної авторегресійної моделі (VAR), яка складається з системи більш ніж одного пов'язаного стохастичного різницевого рівняння в більш ніж одній змінній випадковій змінній.

На відміну від моделі ковзного середнього (МА), авторегресійна модель не завжди є стаціонарною, оскільки може містити одиничний корінь.

Позначення ${\displaystyle AR(p)}$ вказує на авторегресійну модель порядку p. Модель AR(p) визначається як

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}}$

де ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ — параметри моделі, а ${\displaystyle \varepsilon _{t}}$ це білий шум^[1][2]. Це можна еквівалентно записати за допомогою оператора зворотного зсуву B як

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

так що, перемістивши член підсумовування вліво та використовуючи поліноміальне позначення, ми маємо

${\displaystyle \phi [B]X_{t}=\varepsilon _{t}}$

Таким чином, авторегресійну модель можна розглядати як вихідний результат багатополюсного нескінченного фільтра імпульсної характеристики, вхідним сигналом якого є білий шум.

Деякі обмеження параметрів необхідні для того, щоб модель залишалася незмінно стаціонарною. Наприклад, процеси в моделі AR(1) з ${\displaystyle |\varphi _{1}|\geq 1}$ не є нерухомими. Загалом, щоб модель AR(p) була стаціонарною у слабкому розумінні, корені полінома ${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{i}}$ повинен лежати за межами одиничного кола, тобто кожен (комплексний) корінь ${\displaystyle z_{i}}$ має задовольнити ${\displaystyle |z_{i}|>1}$ (див. сторінки 89, 92^[3]).

У процесі AR одноразовий шок впливає на значення змінної нескінченно далеко в майбутньому. Наприклад, розглянемо модель AR(1). ${\displaystyle X_{t}=\varphi _{1}X_{t-1}+\varepsilon _{t}}$. Ненульове значення для ${\displaystyle \varepsilon _{t}}$ у скажімо час t =1 впливає ${\displaystyle X_{1}}$ за кількістю ${\displaystyle \varepsilon _{1}}$. Тоді за рівнянням AR для ${\displaystyle X_{2}}$ з погляду ${\displaystyle X_{1}}$, це впливає ${\displaystyle X_{2}}$ за кількістю ${\displaystyle \varphi _{1}\varepsilon _{1}}$. Тоді за рівнянням AR для ${\displaystyle X_{3}}$ з погляду ${\displaystyle X_{2}}$, це впливає ${\displaystyle X_{3}}$ за кількістю ${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$. Продовження цього процесу показує, що ефект від ${\displaystyle \varepsilon _{1}}$ ніколи не закінчується, хоча якщо процес стаціонарний, то ефект зменшується до нуля в межі.

Оскільки кожен шок впливає на значення X нескінченно далеко в майбутньому від моменту їх виникнення, на будь-яке дане значення X _t впливають шоки, що відбуваються нескінченно далеко в минулому. Це також можна побачити, переписавши авторегресію

${\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}$

(де постійний член був придушений через припущення, що змінна була виміряна як відхилення від свого середнього) як

${\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}$

Функцію автокореляції процесу AR(p) можна виразити як 

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}$

${\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}$

де B — оператор зворотного зсуву, де ${\displaystyle \phi (\cdot )}$ є функцією, що визначає авторегресію, і де ${\displaystyle \varphi _{k}}$ — коефіцієнти в авторегресії. Формула справедлива, тільки якщо всі корені мають кратність 1. 

Автокореляційна функція процесу AR(p) є сумою спадаючих експонент.

• Кожен справжній корінь вносить компонент у функцію автокореляції, яка експоненціально спадає.
• Подібним чином кожна пара комплексно спряжених коренів вносить експоненціально затухаючі коливання.

Найпростішим процесом AR є AR(0), який не має залежності між термінами. Лише термін помилка/інновація/шум впливає на результат процесу, тому на малюнку AR(0) відповідає білому шуму.

Для процесу AR(1) з додатним ${\displaystyle \varphi }$, тільки попередній член у процесі та шумовий член роблять внесок у вихід. Якщо ${\displaystyle \varphi }$ близьке до 0, то процес усе ще виглядає як білий шум, але як ${\displaystyle \varphi }$ наближається до 1, результат отримує більший внесок від попереднього члена відносно шуму. Це призводить до «згладжування» або інтеграції виходу, подібно до фільтра низьких частот.

Спектральна густина потужності (PSD) процесу AR(p) з дисперсією шуму ${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$ це

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

Для білого шуму (AR(0))

${\displaystyle S(f)=\sigma _{Z}^{2}.}$

Для AR(1)

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• Якщо ${\displaystyle \varphi _{1}>0}$ є один спектральний пік при f=0, який часто називають червоним шумом. як ${\displaystyle \varphi _{1}}$ стає ближчим до 1, є сильніша потужність на низьких частотах, тобто більші часові затримки. Тоді це фільтр низьких частот, при застосуванні до світла повного спектра буде відфільтровано все, крім червоного світла.
• Якщо ${\displaystyle \varphi _{1}<0}$ є мінімум при f=0, який часто називають синім шумом. Це так само діє як високочастотний фільтр, все, крім синього світла, буде відфільтровано.

${\displaystyle z_{1},z_{2}=-{\frac {1}{2\varphi _{2}}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)}$

• Коли ${\displaystyle \varphi _{1}^{2}+4\varphi _{2}<0}$, процес має пару комплексно-сполучених коренів, що створює пік середньої частоти на:

${\displaystyle f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}(\varphi _{2}-1)}{4\varphi _{2}}}\right)}$

В іншому випадку процес має справжні корені, і:

• Коли ${\displaystyle \varphi _{1}>0}$ він діє як фільтр низьких частот для білого шуму зі спектральним піком на ${\displaystyle f=0}$
• Коли ${\displaystyle \varphi _{1}<0}$ він діє як високочастотний фільтр для білого шуму зі спектральним піком на ${\displaystyle f=1/2}$.

Процес є нестаціонарним, коли корені знаходяться поза одиничним колом. Процес є стабільним, коли корені знаходяться в межах одиничного кола або, еквівалентно, коли коефіцієнти знаходяться в трикутнику ${\displaystyle -1\leq \varphi _{2}\leq 1-|\varphi _{1}|}$.

Повну функцію PSD можна виразити в реальній формі як:

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

• R, пакет статистики містить функцію ar.^[4]
• MATLAB 's Econometrics Toolbox^[5] і System Identification Toolbox^[6] включає авторегресійні моделі^[7]
• Matlab і Octave : інструментарій TSA містить декілька функцій оцінки для одновимірних, багатовимірних і адаптивних авторегресійних моделей.^[8]
• PyMC3 : байєсівська статистика та структура імовірнісного програмування підтримує режими авторегресії з p- лагами.
• bayesloop підтримує визначення параметрів і вибір моделі для процесу AR-1 із параметрами, що змінюються в часі.^[9]
• Python: реалізація в statsmodels.^[10]

Імпульсна відповідь системи — це зміна змінної, що розвивається, у відповідь на зміну значення ударного терміну k періодів раніше, як функція k. Оскільки модель AR є окремим випадком векторної авторегресійної моделі, тут застосовується обчислення імпульсної реакції у векторній авторегресії#імпульсній відповіді.

Один раз параметри авторегресії

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

були оцінені, авторегресію можна використовувати для прогнозування довільної кількості періодів у майбутньому. Спочатку використовуйте t для позначення першого періоду, для якого дані ще не доступні; замініть відомі попередні значення X _ti для i= 1, …, p у рівняння авторегресії, встановлюючи значення помилки ${\displaystyle \varepsilon _{t}}$ дорівнює нулю (оскільки ми прогнозуємо, що X _t дорівнюватиме очікуваному значенню, а очікуване значення неспостережуваної помилки дорівнює нулю). Вихід рівняння авторегресії є прогнозом для першого неспостережуваного періоду. Далі використовуйте t для посилання на наступний період, дані за який ще недоступні; знову авторегресійне рівняння використовується для складання прогнозу, з однією відмінністю: значення X за один період до того, що зараз прогнозується, невідоме, тому замість нього використовується його очікуване значення — прогнозоване значення, що випливає з попереднього кроку прогнозування. Потім для майбутніх періодів використовується та сама процедура, кожного разу використовуючи ще одне прогнозоване значення в правій частині прогнозного рівняння, доки після p прогнозів усі p правих значень не будуть прогнозованими значеннями з попередніх кроків.

• Лінійне кодування з прогнозуванням
• Резонанс

• Mills, Terence C. (1990). Time Series Techniques for Economists. Cambridge University Press. ISBN 9780521343398.
• Percival, Donald B.; Walden, Andrew T. (1993). Spectral Analysis for Physical Applications. Cambridge University Press. Bibcode:1993sapa.book.....P.
• Pandit, Sudhakar M.; Wu, Shien-Ming (1983). Time Series and System Analysis with Applications. John Wiley & Sons.

• Авторегресійний аналіз (AR) Пола Бурка
• Econometrics lecture (topic: Autoregressive models) на YouTube від Mark Thoma^[en]