Del castillo medieval que se alzaba en la parte más alta de la población, tan sólo se conservan las estructuras perimetrales.
Era una edificación de planta cuadrangular, con torres de diferente simetría en cada esquina, con una función más residencial que militar. El castillo sirvió de inspiración al escritor Enrique Gil y Carrasco en su novela "El Señor de Bembibre", que relata la relación amorosa de Álvaro Yáñez, Señor de Bembibre, y Beatriz de Osorio, heredera de la Casa de Arganza.