Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.
Własności łańcuchów Markowa Rozkład początkowy Rozkładem początkowym nazywamy rozkład (dyskretny) zmiennej
Macierz przejść Definicja Jeśli łańcuch Markowa jest jednorodny, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą prawdopodobieństw przejścia. Jest to macierz stochastyczna, oznaczamy zwykle literą gdzie wyraz wyraża się wzorem:
Z jednorodności wynika, że rzeczywiście nie zależy od Przykładowo element oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.
Równania Chapmana-Kołmogorowa Prawdopodobieństwem przejścia ze stanu do stanu w krokach nazywa się prawdopodobieństwo warunkowe
Dla prawdopodobieństw przejść spełnione są następujące równanie, nazywane równaniami Chapmana-Kołmogorowa:
Intuicyjne jest jasne, że aby dojść do stanu można po drodze przejść przez dowolny inny stan skomunikowany z i Stosując zapis macierzowy, równania Chapmana-Kołmogorowa można zapisać w postaci:
gdzie przez jest macierzą przejść w krokach.