Wzgórze jest częścią Pienińskiego Pasa Skałkowego. Jest zlokalizowane na skraju Pienin Spiskich, tuż nad Dunajcem, który oddziela je od pasma Pienin Czorsztyńskich. W tym miejscu dolina się zwęża, po jej przeciwnej stronie zlokalizowane są góry Czubatka i Piekiełko. Skały tworzące wzgórze zamkowe to wapienie i łupki, mezozoiczne skały osadowe. Z głównym grzbietem Pienin Spiskich od południowego zachodu łączy je obniżenie (skąd prowadził jedyny dostęp do zamku), z kolei od północy, wschodu i południowego wschodu twierdzy bronią urwiska skalne.
Skomplikowana budowa wzgórza zamkowego, związana z jego geologią, stwarza zagrożenie przemieszczaniem się mas skalnych. Komplikują ją dodatkowo nasypy związane z budową i destrukcją murów zamkowych. W XX w., w związku z budową zapory na Dunajcu, wykonano na zamku prace wzmacniające.