Fortaleza Palacio, jardines y patio de armas