El Castillo de Ponferrada fue inicialmente un pequeño poblado con una cerca hecha con cantos y barro (s.XII) reforzada en época de los Templarios con un muro de cal y canto (s. XIII). Tras ser confiscado a la Orden en el s. XIV, su nuevo señor Pedro Fernández de Castro levantó un castillo en un extremo (Castillo Viejo). Durante el siglo XV perteneció al Duque de Arjona, a su hermana Beatriz de Castro, y al esposo de ésta, Pedro Alvarez Osorio, Conde de Lemos, que realizó grandes obras convirtiendo lo que quedaba del primitivo recinto templario en un fuerte y lujoso palacio que se llamó Castillo Nuevo. Su nieto, el siguiente Conde de Lemos, que adoptó como divisa la TAU que ya empleara su abuelo, se sublevó contra los Reyes Católicos, quienes tomaron el Castillo en 1483 y realizaron obras siendo alcaide real Juan de Torres.
