En 1906 cae de nuevo en un reformatorio juvenil, esta vez del estado de Montana donde rápidamente adquiere reputación de criminal nato. Un día ataca brutalmente a un guardia a quien le había agarrado tirria de tantos maltratos que le propinaba. A la primera oportunidad cuando el guardia le dio la espalda lo golpeó en la cabeza con un tablón de madera. Por aquel acto recibió numerosas palizas y fue puesto bajo rigurosa observación. La única forma de salir del aprieto era escapar del lugar, propósito en el que se le unió un compañero llamado Jimmie Benson con quien finalmente lo logra en el año de 1907. Juntos viajaron con rumbo al este robando y quemando iglesias, actividad de primerísima importancia para Panzram que mostraba especial encono contra todo aquello que oliera a religión. Así se mantuvieron por cerca de un mes, cargados de dinero robado y armas hasta que decidieron tomar caminos separados.