Casa de la Torre, albergue de peregrinos