Prawdopodobnie dwory początkowo pełniły funkcję wyłącznie praktyczne, zaś obecna nazwa została spopularyzowana na początku XVII wieku, na drodze analogii do innych dworów, mieszczących się w Braniewie, Elblągu, Gdańsku i Malborku. Pierwotnie gmach był nazywany domem klubowym.
Na przełomie XIII i XIV wieku w Toruniu zaczęły powstawać pierwsze zgromadzenia o charakterze zawodowym i religijnym, zaś kupcy prawdopodobnie powołali pierwszą gildię. Pierwszy dwór w Toruniu wybudowano ok. 1385 roku. Należał on do Bractwa św. Jerzego. Mieścił się on na miejscu obecnego gmachu, jednak był węższy. Był to dwupiętrowy budynek, prawdopodobnie wystawiony w ceglastym, nagim murze. Odznaczał się ostrołukowymi otworami na drzwi i okna. Po obu stronach szczytu umieszczone były ośmiokątne wieżyczki. Budynek miał rytmicznie rozdzielone ślepe okna, które według ówczesnej mody posiadały malowidła. Celem tych okien było zgładzenie ciężaru murów. Na parterze mieściła się wielka sala. Jej sklepienie spoczywało na dwóch kolumnach. Stoły stały pod ścianami. Ławy i ściany były pokryte dywanami. Prawdopodobnie na ścianach mogły wisieć zbroje i tarcze, używane podczas turniejów rycerskich, oraz obrazy patronów brackich (Najświętszej Panny Maryi, św. Jerzego, św. Katarzyny, św.