Tras un paradisíaco viaje de 1000 millas en tren, encerrado sin alimento ni agua junto a otros criminales peligrosos, Panzram arribó a la prisión federal ubicada en las cercanías del río Missouri en medio de una vasta planicie de Kansas. Leavenworth era una vieja prisión usada durante la guerra civil para guardar prisioneros de guerra. Por aquella época había caído en abandono por falta de fondos y mantenimiento sin embargo los nuevos prisioneros eran empleados como fuerza de trabajo para remodelar y reparar las instalaciones del lugar. A mediados de 1908 y contando 16 años, Panzram cae en esa terrible fortaleza, donde era impuesta una férrea disciplina de silencio para los prisioneros. Aquella imposición era parte de los usos y costumbres penales que se creía idónea para reformar a los prisioneros. Todos los días los hombres debían formarse en los patios no importando el clima imperante y cualquier desobediencia al código de silencio era castigada rápida e implacablemente.