Był jednym z nielicznych pisarzy słowackich, którzy przez cały okres „normalizacji” objęci byli zakazem druku. Jego książki wycofano też z bibliotek, a jego nazwisko starano się wymazać ze świadomości społecznej. Tatarka utrzymywał stosunki z czechosłowackim ruchem dysydenckim i publikował a samizdacie i wydawnictwach emigracyjnych. Jako jeden z niewielu Słowaków podpisał Kartę 77.
Twórczość Debiutował jako uczeń gimnazjum tekstami ogłoszonymi w czasopiśmie „Svojeť”. Jego pierwsze książki zdradzają fascynację filozofią egzystencji i słowackim nadrealizmem. Później w powieści Republika klechów użył metody realistycznej dla przedstawienia satelitarnego wobec Niemiec państwa słowackiego z okresu II wojny światowej. Po epizodzie socrealistycznym przyszedł czas na subtelne utwory psychologiczne. Szczytowym osiągnięciem pisarza są jego późne prozy, łączące poetykę powieści z esejem, i autobiografią, przesycone wybujałą erotyką oraz głęboką refleksją na tematy społeczne, polityczne, filozoficzne i literackie.