A partir de este punto, la muralla romana fue derruida, con el consentimiento y aprobación del consistorio de la época, para que Juan de Quiñones y Guzmán, obispo de Calahorra, en 1560 pudiera construir un nuevo palacio sobre otro de carácter gótico mudéjar existente y que era la sede solariega de los Guzmanes. Para construir el actual palacio, no solamente fue necesario derribar el lienzo de la muralla que le estorbaba al obispo, también fue necesario comprar otras viviendas aledañas, ya que el nuevo edificio excedía en varios cientos de metros al antiguo. Los trabajos fueron encargados al maestro constructor Rodrigo Gil de Hontañón.