V verjetnostni teoriji in statistiki je veriga Markova ali proces Markova stohastični proces, ki opisuje sekvenco možnih dogodkov v katerih je verjetnost vsakega dogodka odvisna le od stanja, pridobljenega v prejšnjem dogodku. Neuradno lahko imamo to za vprašanje, »Kaj se zgodi nato je odvisno le od stanja zdaj.« Števno neskončna sekvenca, v kateri se veriga premakne v korakih v diskretno časovnih korakih, vrne diskretno-časovno verigo Markova (DTMC). Proces nepretrganega časa se imenuje veriga Markova nepretrganega časa (CTMC). Procesi Markova se imenujejo v čast ruskega matematika Andreja Andrejeviča Markova.
Verige Markova imajo veliko aplikacij kot statistični modeli procesov iz resničnega sveta. Zagotavljajo osnovo za splošne stohastične simulacijske metode, znane kot metode Monte Carlo markovske verige, ki se uporabljajo za simulacijo vzorčenja iz kompleksnih verjetnostnih porazdelitev in so v uporabi na področjih, kot so Bayesova statistika, biologija, kemija, ekonomija, finance, teorija informacij, fizika, obdelava signalov in obdelava govora.
Pridevnika Markovska in Markov sta v uporabi za opisovanje nečesa, kar je povezano s procesom Markova.
Načela
Definicija Proces Markova je stohastični proces, ki ustreza lastnini Markova (včasih opredeljena kot »brezspominskost«). S preprostejšimi besedami je to proces, za katerega lahko naredimo napovedi glede prihodnjih izidov izključno na podlagi njegovega trenutnega stanja in, najpomembnejše, take napovedi so prav tako dobre kot tiste, ki jih naredimo na podlagi poznavanja celotne zgodovine procesa. Z drugimi besedami so pogoji za trenutno stanje sistema, njegova prihodnja in pretekla stanja, neodvisni.
Veriga Markova je tip procesa Markova, ki ima bodisi diskretni prostor stanj, bodisi diskretni indeksni set (ki pogosto predstavlja čas), vendar natančna opredelitev procesa Markova variira. Tako na primer pogosto opredelimo verigo Markova kot proces Markova v bodisi diskretnem, bodisi neprekinjenem času s števnim prostorom stanj (ne glede na naravo časa) vendar tudi pogosto opredeljujemo verigo Markova tako da ima bodisi števen, bodisi neprekinjen prostor stanj (tako ne glede na prostor stanj).
Sklici
Kategorija:Teorija grafov Kategorija:Ekonometrija