Torre de San Martín, ábside y torre de San Esteban, Castillo