Kariera literacka Pierwsza powieść Kaveney, Tiny Pieces of Skull, została opublikowana w 2015 przez Team Angelica Press, 27 lat po jej napisaniu w latach 80. Historia opowiada o transpłciowej protagonistce Annabelle Jones, która w 1978 podróżuje z Londynu do Stanów Zjednoczonych, by dołączyć do przyjaciela, i okazuje się osamotniona w Chicago. Wczesną wersję powieści przeczytał Neil Gaiman, który w 2016 napisał, że był „zasmucony i przerażony, że wydawcy nie chcieli jej opublikować”.
W recenzji dla „The Times Literary Supplement” Lucy Popescu opisuje Tiny Pieces of Skull jako dzieło, które „zasługuje na uznanie jako przełomowa powieść na temat tożsamości transpłciowej i transfomii […] zabawną i przerażającą”. Książka zdobyła w 2016.
W latach 1982–1984 Kaveney była redaktorką brytyjskiego czasopisma fantasy i science fiction „Interzone”.