Opancerzonych w sposób prowizoryczny pociągów używali Brytyjczycy podczas II wojny burskiej. Dojrzałe konstrukcje pociągów pancernych, pokrytych w całości stalowym pancerzem i uzbrojonych w obrotowe wieże artyleryjskie, pojawiły się dopiero podczas I wojny światowej. Używane były głównie przez Austro-Węgry, Niemcy i Rosję na froncie wschodnim. Na wielką skalę pociągów pancernych, w dużej mierze improwizowanych, używały wszystkie strony podczas wojny domowej w Rosji, czemu sprzyjała słabo rozwinięta sieć dróg na tamtych terenach. Podczas II wojny światowej pociągów pancernych bojowo używała Polska, Niemcy i Związek Radziecki. Oprócz zadań bojowych pełniły także funkcje patrolowe i policyjne.
Polskie pociągi pancerne w większości wywodziły się ze składów z okresu I wojny światowej, zmodernizowanych w okresie międzywojennym. Kilkanaście pociągów pancernych brało udział w kampanii wrześniowej. Pociągi pancerne były też wykorzystywane przez Polskie Siły Zbrojne i we wczesnym okresie powojennym (między innymi przez Służbę Ochrony Kolei).
Obecnie pociągi pancerne są używane przez siły zbrojne Federacji Rosyjskiej.