Johann se casó con María Magdalena Keverich en 1767, y tras un primer hijo también llamado Ludwig, que murió poco después de nacer, nació el 16 de diciembre de 1770 el que habría de ser compositor. A Ludwig siguieron otros dos niños, a los que pusieron los nombres de Caspar Anton Karl y Nikolauss Johann. A la muerte del abuelo, auténtico tutor de la familia (Ludwig contaba entonces tres años de edad), la situación moral y económica del matrimonio se deterioró rápidamente. El dinero escaseó; los niños andaban mal nutridos y no era infrecuente que fueran golpeados por el padre; la madre iba consumiéndose, hasta el extremo de que, al morir en 1787 a los cuarenta años, su aspecto era el de una anciana.