Zamek w Lipie pochodzi z przełomu XIII. i XIV. wieku, pierwotnie było to założenie zakonne, na co wskazują charakterystyczne ciągi komunikacyjne.
Na przestrzeni wieków gotycki zamek był przebudowywany, zyskiwał elementy renesansowe i w XIX wieku neogotyckie. Niestety zniszczenia dokonane w latach 70. XX. wieku bezpowrotnie pozbawiły zamek jego oryginalnych, architektonicznych elementów.
Najbardziej charakterystycznym architektonicznym elementem zamku jest wieża w kształcie piramidy. Istnieją wątpliwości, co do przeznaczenia wieży. Niektórzy uważają, że była to kuchnia zamkowa, inni, ze było to miejsce kultu. Na korzyść tej ostatniej hipotezy wskazują otwory w wieży położone w ten sposób, że w czerwcowe przesilenie, na św. Jana, do środka wieży wpadają mocne snopy światła, które łączą się ze sobą, być może coś wskazują? ...
Poszukiwacze spiskowych historii łączą powstanie zamku w Lipie z założeniem przez templariuszy wioski o nazwie Villa Pelegrini (obecnie Pielgrzymka, 25 km od Lipy). Cóż... być może dowiemy się czegoś więcej już niedługo, jako że na terenie zamku prowadzone są prace archeologiczne.
