El inmueble está ligado al florecimiento y el auge de la industria de la lana durante el siglo XV en
Segovia, que atrajo a numerosas
familias, entre ellas la
familia Ayala Berganza, dinastía ligada a la
Catedral, de gran importancia y poder. Construyó su
palacio a finales del siglo XV, siguiendo la tipología de
casa gótica con elementos platerescos, que la adscriben a la etapa de transición entre el
gótico y el renacimiento.