Construida en el S. XIV, la Torre del Infantado es un edificio medieval que perteneció a Don Tello (Señor de Liébana, hermano del rey Enrique II, e hijo de Alfonso XI).
Esta torre se encuentra construida principalmente en sillarejo y reforzada con sillería en sus esquinas y vanos. En total, la torre cuenta con cuatro cuerpos además de una azotea con cornisa en la cual encontramos un muro rematado en las esquinas por almenas. Su fachada principal cuenta con un gran balcón y en todas sus fachadas se encuentran pequeñas ventanas dinteladas.
Respecto a su interior, éste cuenta con un patio interior que ilumina las estancias. Esto no es habitual en las fortalezas de Cantabria por lo que se cree que durante una reforma llevada a cabo por los Duques del Infantado durante el siglo XVI se añadió.
En el siglo XVI, la torre pasó a formar parte de la familia Santillana, finalmente quedó en manos de los Duques de Osuna, quienes la vendieron en 1868.
Más tarde, en el siglo XX albergó el Ayuntamiento de la Villa de Potes.
La torre volvió a abrir su puertas en el año 2011 después de su restauración, donde maderas nobles, acero corten y grandes espacios acristalados albergan la vida y obra de Beato de Liébana.
Disenium