Cuando los franceses ocuparon Hannover en 1757, su padre marchó a la guerra; por otra parte su hermano William, con quien Caroline compartía sus inquietudes astronómicas, emigró a Inglaterra como músico. Con lo cual Caroline quedó bajo la tutela de su madre que la envió a aprender a hacer punto y cercenó por el momento sus posibilidades de dedicarse a la astronomía o a cualquier actividad de índole intelectual.