Después de incontables castigos con cinturones, y palas de madera la venganza llegó a Panzram cuando gracias a un ingenioso dispositivo de su creación prendió fuego a uno de los edificios del reformatorio, mientras disfrutaba al máximo el espectáculo del fuego, instalaciones federales con valor de $100.000 dólares ardían hasta los cimientos. A fines de 1905 Carl Panzram compareció ante el comité de libertad del reformatorio, armado de la mayor hipocresía convenció a los miembros del jurado que era otro chico, ya reformado por las enseñanzas cristianas de los maestros del lugar. Pero según propias palabras "Había aprendido mas de como mentir, robar, incendiar y matar que otra cosa... aparte de que había conocido otros usos para el pene aparte de orinar y de otras cosas para las que podía servir el ano..." Cuando su madre lo llevó de vuelta a su casa, Carl Panzram era otra persona, se había tornado silencioso y oscuro. Sin embargo muchas otras preocupaciones poblaban la vida de su madre, que no podía lidiar con un chico rebelde y problemático. A pesar de las circunstancias, Panzram siempre guardó resentimiento contra ella. Al principio la señora contaba con el amor y respeto de su hijo, pero gradualmente estos se tornaron en desaprobación y odio pues "... ella era muy tonta para enseñarme algo bueno."