Fue construido en el siglo xvi en el estilo típico de las
casas señoriales del renacimiento castellano, en sillarejo y mampostería de granito. A lo largo de los siglos ha sufrido numerosas reformas y reconstrucciones, por lo que de su trazado original solo se conserva parte del
patio y la
escalera. A lo largo de su
historia ha sido
casa del corregidor de
Ávila, Juan de Henao, posteriormente fue ocupada por la
familia de los Sarmiento. A finales del siglo xix, el IX marqués de Benavites, mandó construir el actual
torreón para albergar su gran
biblioteca.