Pasja kolekcjonerska Etty Cone rozpoczęła się w 1898 od zakupu pięciu obrazów amerykańskiego impresjonisty Theodore’a Robinsona przeznaczonych do dekoracji domu rodzinnego. Dzięki wsparciu finansowemu przedstawicieli przemysłu tekstylnego Etta razem z siostrą Claribel corocznie wyjeżdżały do Europy, aby kupować dzieła sztuki. W Paryżu często odwiedzały awangardową pisarkę Gertrude Stein i jej brata Leo zawierając dzięki nim znajomości z szerokim gronem artystów, muzyków i pisarzy. w 1906 Etta Cone spotkała Henriego Matisse’a i zakupiła kilka jego rysunków, co zapoczątkowało jej zainteresowanie sztuką tego artysty. Siostry Cone zgromadziły łącznie około 500 dzieł Matisse’a, który to zbiór uważany jest za największy i najbardziej znaczący na świecie. Składają się nań 42 obrazy olejne, 18 rzeźb, 36 rysunków, 155 grafik, i 7 ilustrowanych książek, a także 250 rysunków, grafik, i miedziorytów z pierwszej książki ilustrowanej przez artystę, Poésies de Stéphane Mallarmé. Siostry nabyły także 114 dzieł Picassa, w tym ważną grupę grafik i rysunków artysty z okresu od wczesnych jego lat w Barcelonie do początku tzw. okresu różowego w Paryżu (1905–1906). Z czasem zgromadziły wyjątkową kolekcję liczącą około 3000 eksponatów, które wystawiały w swoich apartamentach w Baltimore.