Pocas semanas después de su arresto, la corte de Larchmont lo sentenció a 5 años de prisión por los robos cometidos en aquella jurisdicción. A pesar de que Panzram había intentado una negociación con el fiscal para recibir una sentencia menor a cambio de declararse culpable. Entonces fue enviado a la famosa prisión de Sing Sing pero no permanecería ahí por mucho tiempo pues fue enviado a la prisión estatal de Clinton, lugar a donde eran enviados los criminales más peligrosos e incorregibles. Gobernado y mantenido por sucesivas familias de celadores locales, Clinton era famosa por la rudeza y crueldad conque eran "reformados" los reos. Dannemora, el agujero infernal era como se conocía comúnmente dicho sitio. La población de reos era considerada un puñado de animales a quienes había que tratar acorde a ello. Los guardias estaban armados de bastones de acero que usaban para someter cualquier insubordinación por mínima que fuera. Bajo el implacable yugo de los guardias, numerosos reos sufrían de colapsos nerviosos y entonces eran enviados al hospital mental donde eran arrojados ante una población de dementes y eran olvidados tras una muralla de negligencia y burocratismo.