La historia más conocida de Castro arranca a principios del siglo VIII de nuestra era con el establecimiento en las laderas de la sierra de un grupo de beréberes norteafricanos llamados yarawá, que llegaron a Almería huyendo de los árabes. A principios del siglo VIII aquí hallaron refugio los beréberes romanizados huyendo de los árabes. Desde aquel siglo vivieron en paz hasta el siglo XII unas comunidadesde mozárabes, muchos de los cuales se fueron con el rey aragonés Alfonso el Batallador a repoblar el valle del Ebro. Más tarde, Castro pasó a los herederos de don Enrique Enríquez, con lo que su señorío o Estado de Tahal se compuso de 14 lugares, de los que se conservan ocho y los otros seis quedaron despoblados en el 1570. Según el Censo de Ensenada, el señor obtenía de renta de Castro unos 2.046 reales. Entre 1502 y 1568 la población del Estado de Tahal es totalmente morisca, con media docena de cristianos viejos. Cuando entre 1568 y 1570 se rebelaron los moriscos de la Alpujarra, en la zona de los Filabres se sumaron a las armas más de 800 hombres, que fueron derrotados por don Juan de Austria. De los 3.000 moriscos que vivían en el Estado de Tahal al comenzar la guerra, más de la mitad perecieron, unos en el combate y la mayor parte de hambre y enfermedades. Una cuarta parte fueron vendidos como esclavos y la otra cuarta parte huyó a Murcia o fue sacada a Albacete y llevada a Cuenca. De Castro y Olula de Castro salieron unos 100 moriscos. Sacados los moriscos de los pueblos de la sierra de los Filabres, el panorama de soledad y abandono era sobrecogedor. Se impuso la repoblación y ésta fue muy lenta. Castro se repobló con diez vecinos, y a finales del siglo XVI sólo quedaban ocho. Desde la rebelión de los moriscos, Castro y muchos pueblos de los Filabres no lograron alcanzar el nivel de población que habían tenido. El paulatino movimiento de población posterior de Castro de Filabres se refleja en los distintos censos, en los que se anotan los vecinos que vivían en el pueblo. Así, en 1752 habitaban en Castro unos 176 vecinos; a mediados del siglo XIX, unos 257; a principios del siglo XX, unos 426, que es el mayor nivel de población existente en Castro en los últimos siglos, para descender a partir de la década de los cuarenta, y sobre todo de los setenta, con el fenómeno generalizado de la emigración, que tomó como destino la capital de la provincia, las tierras catalanas y las vecinas repúblicas de Francia y Alemania. Es tan profundo el sentimiento de la emigración en este bello pueblo de la provincia de Almería que desde hace unos pocos años se celebra la fiesta del emigrante en el primer domingo del mes de agosto. Los usos y costumbres de Castro eran y son muy comunes a los pueblos de la Sierra.