Авторегресивниот процес е модел кој ја покажува зависноста на вредностите на временската низа од своите минати вредности и е надополнување на идејата на регресијата за моделирање на линеарната зависност помеѓу две променливи. Моделот на простата регресија го објаснува развојот на променливата y со помош на друга променлива x, како линеарна функција:

y= b0 + b1x + e

Каде што b0 и b1 се константи коишто треба да се определат, а e претставува случајна променлива која следи нормален распоред со средина која е еднаква на нула и константна варијанса. Ако во моделот се направи замена и тоа наместо y се користи yt и наместо x се користи yt-1, се добива нов модел на зависност кој се нарекува авторегресивен модел од прв ред.

Авторегресивен процес од прв ред

Авторегресивниот процес од прв ред, се означува AR(1), е следниот:

yt = ф0 + ф1yt-1 + etРистески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје, стр.267 Скопје 2012

каде што ф0 и ф1 се константи, а et е процес на бел шум кој следи нормален распоред со средина еднаква на нула и варијанса δ2e. Формулата покажува дека во AR(1) процесот однесувањето на yt во најголема мера зависи од нејзината вредност во претходниот период. Промеливите et го претставуваат ефектот на факторите што не се вклучени во процесот (различни од yt-1) врз yt.. Тие се нарекуваат случајни шокови. Случајниот шок е вредноста за која се претпоставува дека случајно е избрана од нормален распоред со средина еднаква на нула и варијанса која е иста за секој временски период t. Дополнително, се претпоставува и дека случајните шокови e1, e2, e3 … од различни временски периоди се статистички независни меѓу себе. Во литературата случајните шокови може да се сретнат и под името иновации, бидејќи ја претставуваат новата информација која се додава на процесот во секоја временска точка. Очекувана вредност на AR(1) процесот е:

Ε(yt) = µ = ϕ0/1-ϕ1Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 267 Скопје 2012

Овој резултат има две импликации за yt. Прво, средината на yt постои ако ф1 ≠ 1. Второ, средината на yт е нула ако и само ако ф0 = 0. Затоа кај стационарен AR(1) процес, Константата ф0 е поврзана со просечната вредност на yt и ф0 = 0, што значи Ε(yt) = 0. Варијанса на AR(1) процесот, поради претпоставка за стационарност (константна варијанса) var (yt) = var (yt-1), следува:

var (yt) = δ2e/1-ф21Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр.268 Скопје 2012

Од изразот за варијансата AR(1) процесот, следува дека ф21 < 1. Барањето ф21 < 1 доаѓа од фактот што варијансата на случајна променлива треба да биде ненегативна. Дополнително, -1 < ф1 < 1 е неопходен у слов AR(1) процесот да биде стационарен. Ако |ф1| > 1, тогаш yt ќе има тенденција од период во период сè повеќе да се зголемува и серијата ќе биде експлозивна. Информацијата за линеарната зависност меѓу променливите на временската низа е содржана во функцијата Автоковаријанса.

yk = ф1yk-1Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр.270 Скопје 2012

Автокорелациите ја содржат истата информација како и коваријансите, но имаат предност затоа што не зависат од мерните единици. Како што е веќе познато, pk е корелација меѓу опсервациите што се оддалечени k периоди, односно автокорелацијата за временското задоцнување од k, која е дефинирана како:

pk = yk/y0

Бидејќи p0 = 1 може да се заклучи дека

pk = фk1

Од овој израз произлегува дека функцијата на автокорелација на AR(1) процесот опаѓа експоненцијално со стапка ф1, и притоа нејзината вредност p0 = 1. Дополнително, ако параметарот ф1 е позитивен, линеарната зависност на сегашните од минатите вредности (pk) е постојано позитивна ( и притоа екпоненцијално опаѓа), додека ако параметарот ф1 е негативен, pk е позитивна за парните вредности на k, односно негативна за непарните вредности на k.Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 271 Скопје 2012

Авторегресивен процес од втор ред

Авторегресивен процес од втор ред или AR(2) процесот претпоставува дека yt е линеарно зависна не само од yt-1, туку и од yt-2. Неговиот математички израз е:

yt = ф0 + ф1yt-1 + ф2yt-2 + etРистески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр.272 Скопје 2012

Очекуваната вредност на AR(2) процесот е:

E(yt) = µ = ф0/1-ф1-ф2

Автоковаријанса на AR(2) процесот:

yk = ф1yk-1 + ф2yk-2, за k > 0

Со користење на овој израз може да се дојде до формулата за варијансата на AR(2) процесот:

var(yt) = y0 = (1-ф2)δ2e/(1+ф2)(1-ф1-ф2)(1+ф1-ф2)Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 273 Скопје 2012

Може да биде докажано дека вредностите на параметрите кои го прават AR(2) процесот стационарен (со варијанса секогаш позитивна) се тие кои се вклучени во областа:

-1<Ф<1, ф1+ф2<1 и ф2-ф1<1.

Со делење на равенката за автоковаријанса со var(yt) се добива функцијата на автокорелација на процесот:

pk = ф1pk-1 + ф2pk-2, за k > 0

Со цел да се утврдат одликите на функцијата на автокорелација потребно е претходното равенство да се запише со помош на операторот на временско задоцнување L при што се добива полином од втор ред ( 1 - ф1x - ф2x2 = 0 ) чии решенија се x1 и x2.Инверзните вредности на двете решенија на полиномот од втор ред се нарекуваат карактеристични корени на AR(2) процесот. Карактеристичните корени се означуваат со G1 и G2. Според карактеристичното равенство, коефициентите на автокорелација (pк) ќе бидат помали или еднакви на нула ако |G1| < 1 и |G2| < 1, што претставува и услов за стационарност на AR(2) процесот. Притоа постојат две можности:

1) Двата карактеристични корени G1 и G2 се реални броеви. Во овој случај опаѓањето на pк претставува збир на две експоненцијални опаѓања. Ова значи дека AR(2) процесот може да се разгледа како еден AR(1) процес кој опстојува над друг AR(1) процес. Обликот на функцијата на автокорелација зависи од тоа дали G1 и G2 имаат исти или слични знаци.

2) Двата карактеристични корени, G1 и G2 се комплексни броеви. Во овој случај функцијата на автокорелација опаѓа синусоидно.Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 275 Скопје 2012

Општ авторегресивен процес

Општ авторегресивен процес е оној каде што тековната вредност на променливата y зависи само од вредностите што ги имала во претходните периоди плус иновациите на моделот (et). Авторегресивниот процес од p-ти ред, се означува AR(p), математички се претставува со:

yt = ф0 + ф1yt-1 + ф2yt-2 + ... + фpyt-p + etРистески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје, стр. 277 Скопје 2012

каде што фi(i = 0,1,...,p) се константи, а et е процес на бел шум со средина еднаква на нула и варијанса δ2e. Карактеристично равенство на AR(p) процесот е :

фp(L) = 0

Ова равенство има p решенија: G1-¹,...,Gp-¹, и притоа коефициентите Gi се фактори (карактеристични корени) на карактеристичното равенство. AR(p) процесот е стационарен ако |Gi| < 1, за секое i. Функцијата на автокорелација на AR(p) процесот е следната:

pk = ф1pk-1 + ... + фpPk-p, за к > 0Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје, стр. 278 Скопје 2012

Коефициентите на автокорелација го задоволуваат истото равенство како и процесот:

фp(L)pk = 0, k > 0

Решението на оваа равенка е:

pk = ΣAiGikРистески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 278 Скопје 2012

каде што Ai се константи кои треба да бидат определени од почетните состојби, а Gi се фактори на карактеристичното равенство, кои како што е веќе кажано, мораат во апсолутна вредност да бидат помали од 1 за процесот да биде стационарен. Како доказ за ова тврдење може да послужи условот |pk| < 1 , кој бара ниту еден Gi да не биде поголем од 1, бидејќи во тој случај со зголемувањето на k изразот Gik ќе се зголемува без ограничување. Дополнително, процесот да биде стационарен Gi не може да биде ниту 1, бидејќи во тој случај со зголемувањето на k изразот Gi^k нема да се намалува и коефициентите pk нема да тежнеат кон нула. Еден AR(p) процес да биде стационарен, коефициентите наавтокорелација треба геометриски да опаѓаат до нула. Ако во равенството за автокорелација се замени k=1,...,p, се добива систем со p равенства кој се нарекува Јул-Вокер систем:

p1 = ф1 + ф2p1 + ... +Фppp-1

p2 = ф1p1 + Ф2 + ... +фppp-2 . . . pp = ф1pp-1 + ф2pp-2 + ... + фp

Овој систем се користи за да се пресметаат коефициентите на автокорелација од параметрите на процесот. Според теоремата за декомпозиција на Волд секоја стационарна серија може да биде прикажана како збир на два дела, односно два неповрзани модели: детерминистички и стохастички. Детерминистичкиот дел одговара на просечната вредност на моделот, додека стохаститчкиот дел е еден MA модел. Поради тоа AR(p) процесот чија средина е еднаква нанула може да се претстави како модел на подвижни средини од бесконечен ред. Веќе е покажано дека AR(1) и AR(2) процесите, кога се напишани во форма на девијации од средината, може да се претстават како MA процеси. AR(p) процесот претставен како збир на иновациите, односно во облик на МА го има следниот математички израз:

ỹt = Ψ(L)et

MA обликот на AR(p) процесот запишан без користење на операторот на временското заостанување е следниот:

ỹt = et + Ψet-1 + Ψet-2+ ... = Σ Ψiet-1

Важноста на теоремата на декомпозиција на Волд најдобро се гледа од претходното равенство. AR(p) процесот е претставен како збир на иновациите, односно збир на стационарните процеси. Теоремата гарантира дека секој стационарен процес може да се претстави како линеарна функција. Коефициентите на автокорелација, pk, и коефициентите на MA структурата не се идентични.Ристески Славе, Тевдовски Драган, Трпкова Марија - Вовед во анализата на временските низи, Универзитет "Св.Кирил и Методиј" Економски факултет - Скопје,стр. 279 Скопје 2012

Функција на парцијалната автокорелација Со помош на функцијата на автокорелација тешко може да се определи редот на AR процесот. За да се разликуваат АR процесите од различен ред, се користи функцијата на парцијална автокорелација. Оваа функција ги содржи коефициентите на парцијална автокорелација за различни временски заостанувања.