Sin embargo, en 1717 fue convertida en prisión
militar, siendo su inquilino más célebre el mismísimo Gaspar Melchor de Jovellanos, ministro de Carlos IV y uno de los personajes más importantes de la Ilustración en
España. Fueron precisamente sus “ideas ilustradas” y los enfrentamientos con el secretario de estado Manuel Godoy los que motivaron su destierro al
monasterio de Valldemosa, en primera instancia, y su posterior reclusión en el
castillo de Bellver.
Fruto de aquellos años de encierro es su libro Memoria del castillo de Bellver, así como otros textos vinculados al patrimonio local de la isla.