Después Panzram se dirigió a Manhattan donde se empleo como empleado de limpieza en un buque que partiría a China, sin embargo antes se emborrachó y participó de una trifulca entre marineros y fue expulsado de la expedición. Sin dinero y con hambre se sube a un tren con dirección al pueblo de Larchmont sitio de lujo y esparcimiento para la alta sociedad de la región. Una noche de Agosto de 1923 Panzram se introdujo en los depósitos de la estación de trenes para robar. Había usado un hacha que encontró cerca del sitio para romper una ventana. Para su mala ventura, fue descubierto por un oficial que efectuaba su rondín nocturno. Tras un feroz forcejeo, el oficial Richard Grube arrestó a Panzram que fue incriminado con otros tres cargos mas por robo y la fianza le fue impuesta por $5,000 dólares. En este punto Panzram decide comenzar a hablar y declara ser fugitivo del estado de Oregon donde aún debía purgar 14 años de prisión. La policía conocía de ciertos hombres que comenzaban a declarar en demasía con el propósito de ser transferidos a otros sitios sin embargo deciden enviar telegramas a Oregon para averiguar. La respuesta fue que Jeff Baldwin alias de Panzram al momento de su encarcelamiento en Oregon era requerido por la justicia del estado. La suerte del criminal llegaba a su fin.