La sede del Ayuntamiento de la Villa de Potes se encuentra en el interior de la emblemática Torre del Infantado, torre medieval que domina el centro de la villa y que cuenta con un importante pasado histórico desde la Baja Edad Media. La Torre fue motivo de disputas entre importantes familias de la nobleza y testigo directo de las guerras que tuvieron lugar para defender la villa y la comarca