Hasta principios del siglo XVII la población estuvo situada en la partida de los Villares, llamándose Torre de Orchet. El actual asentamiento, fue fundado tras la expulsión de los moriscos de España (1609-1614). En 1995, el barrio de Los Pajares que pertenecía a Castielfabib pasó a ser parte del núcleo urbano de Torrebaja.
