Wcześniej, bowiem w 1810 r. zbiory przeniesiono do dawnego klasztoru Braci Mniejszych, które wzbogaciły się o dzieła Tycjana i Dawida Teniersa II. Przełomem dla dziejów muzeum było przekazanie spadku po Ridderze Florentcie van Ertborn wiceprezydenta Antwerpii, którego kolekcja zawierała dzieła dawnych mistrzów takich jak Jan van Eyck, Rogier van der Weyden, Hans Memling, Jean Fouquet, Simone Martini, Antonello da Messina. W 1859 muzeum wzbogaciło się o kilkadziesiąt dzieł XVII wiecznego malarstwa Niderlandów dzięki darowiźnie baronowej Adelaïde Van den Hecke-Baut. 29 stycznia 1877, władze miasta zorganizowały konkurs projektów nowego muzeum. Wygrało sześć projektów z których dwa lata później wyróżniono pomysły Jana Jacoba Windersa i Fransa Van Dijka. Otwarcie nowej siedziby muzeum miało miejsce dnia 11 sierpnia 1890.
Od 1927 roku muzeum stało się instytucją państwową. W latach 20. XX wieku przy muzeum zawiązano stowarzyszenie Vrienden van Moderne Kunst (Przyjaciele Sztuki Współczesnej), skupiające miłośników sztuki takich jak m.in. bracia Louis, François and Charles Franck, którzy przekazali wielką kolekcję dzieł Jamesa Ensora.