Debido a su naturaleza rebelde e incorregible Panzram pronto se vio envuelto en graves problemas con los celadores. Eran frecuentes las palizas que recibía y prolongados los periodos de confinamiento en solitario a que era sometido. Pronto sintió desesperación por escapar del lugar y mientras tanto un día logra incendiar parte de las instalaciones sin que se le levantaran cargos formales. La vida en prisiones de este tipo era un frágil equilibrio de violencia y paz entre guardias y prisioneros. Los primeros imponían el orden y la disciplina por medio de golpes y torturas, pues no conocían otra manera de imponerse entre sujetos tan peligrosos como los que cuidaban. Panzram estaba sujeto a una bola de acero de 22 kilos que debía llevar a donde fuera y durante 10 horas al día todos los días de la semana picaba piedras. Este severo régimen hizo que se volviera muy fuerte y musculoso. Cada día que transcurría, su amargura y enojo se incrementaban y no veía venir la hora de salir para descargar su furia contra la humanidad. En 1910 es liberado de Leavenworth deseando solamente jamás volver al maldito lugar y sintiéndose la personificación del mal.