Matulaitis nie tylko redagował gazety za darmo (poprzedni redaktor Jonas Kriaučiūnas otrzymywał wynagrodzenie w wysokości 50 rubli miesięcznie), ale także przekazywał z własnych oszczędności znaczne sumy na ich publikację (według Kazysa Griniusa około 950 rubli). Matulaitis napotykał na znaczne trudności w redagowaniu gazet, gdyż wobec carskiego zakazu publikowania w języku litewskim ukazywały się one w Tylży w Prusach Wschodnich i były do Rosji przemycane przez granicę. W 1897 r. Matulaitis został zmuszony do złożenia stanowiska redaktora naczelnego, po czym „Varpas” ponownie stał się pismem umiarkowanie demokratycznym, bez socjalistycznych akcentów.
Pisarz i krytyk literacki W tym czasie Matulaitis próbował również swoich sił jako pisarz, poeta i publicysta. Opublikował dwa wiersze (1891–1892), dwa opowiadania (1893–1894) i dwie baśnie (1896). W latach 1897, 1900 i 1904 opublikował trzy satyry antyreligijne w formie oddzielnych broszur. Były to dzieła napisane w duchu realizmu. Historycy literatury nisko oceniają ich wartość artystyczną – teksty te odzwierciedlają natomiast poglądy polityczne autora i były jego głosem w debacie publicznej, wzywając do działania na rzecz lepszej przyszłości. Matulaitis opublikował również około dwudziestu artykułów krytycznoliterackich, dotyczących literatury litewskiej.