Los orígenes de las gentes de Olula se sitúan, de igual modo que todos los pueblos de la Sierra, en la época prehistórica, de la que quedan algunos grabados en la roca del Huerto del Moro o de los Rodeos y en la que llegaron a estas zonas hombres procedentes del Norte de Africa que convivieron con los que seguían habitando cuevas en estas tierras. Tanto Castro como Olula de Castro son topónimos latinos que bien pudieron estar relacionados con los campamentos de la reina africana. Por ello, los vecinos de la Sierra de Filabres, durante la Alta Edad Media, eran mozárabes que se vincularon a Alfonso VII el Batallador cuando conquistó Almería y se marcharon con él para repoblar el valle del Ebro recientemente conquistado. El vacío demográfico originado en los pueblos de la Sierra es cubierto por nuevas tribus beréberes islamizadas que trajeron almorávides y almohades, dando lugar a la construcción de una veintena de aldeas, cuyos nombres llegaron hasta el final del siglo XVI y nos los han conservado los cronistas de los Reyes Católicos y algunos documentos del siglo XVI. Tras la conquista de Almería y la zona de los Filabres por los Reyes Católicos, Olula fue cedida al señorío territorial del Duque del Infantado junto a Castro y Uleila del Campo. Castro pasó más tarde a los herederos de Don Enrique Enríquez, mientras que Olula y Uleila del Campo se mantuvieron bajo el señorío del Duque de Francavilla (ducado del Infantado). Después de la repoblación, la Sierra de los Filabres entra en un profundo aislamiento, y sus vecinos se afanan en la labor diaria de arrancar a la tierra el pedazo de pan que vinieron buscando en el último tercio del siglo XVI. Los habitantes de Olula se dedicaban a la agricultura y a la ganadería, poniendo en producción unos 407 celemines de tierra de regadío y cultivando en secano unas 692 fanegas de tierra. Los rebaños de ovejas y de cabras eran numerosos, aprovechándose de los importantes pastos de la sierra. La población de Olula de Castro fue creciendo hasta alcanzar unos 727 habitantes a principios del siglo XX, y posteriormente descendió a cerca de 500 en el censo de 1940 y a poco más de 300 en 1981. Algunas de sus cortijadas y caseríos han desaparecido, como El Tallón Alto, que en 1950 tenía cuatro casas y 24 habitantes, y del Tallón Bajo sólo quedan algunas casas que están habitadas a temporadas. El fenómeno de la emigración ha golpeado duramente a este singular pueblo de la Sierra de los Filabres. Sus gentes han tenido que tomar el camino de la emigración a la capital y a otras regiones españolas buscando el pan que a veces la propia tierra les niega. En estos momentos el censo de habitantes ha descendido a cerca de 200 personas, observándose un predominio de gente mayor, pues la gente joven por termino medio está trabajando y viviendo fuera del pueblo.