El convento de San Ildefonso, fue fundado por Alonso de Camino, nacido en Ajo en este mismo barrio que lleva su nombre. Alonso fue capitán de Felipe II en Flandes, donde por su valía consiguió titulos y fortuna.

En este convento intervinieron los más destacados arquitectos, maestros canteros, y retablistas del momento. Las trazas son de 1588 obra de Diego de Sisniega, y el retablo mayor en piedra fue obra de Rodrigo de los Corrales Isla, ensamblador de Noja. En el crucero se encuentra el mausoleo de Alonso de Camino y Carrera, con su estatua orante en piedra. Estuvo ocupado por dominicos hasta, 1835, que Mendizabal suprimió todos los conventos y monasterios que tuvieran menos de 12 religiosos.