En el siglo xiv se construye sobre el
puente una
torre con el objetivo de cobrar más eficientemente el pontazgo. En 1435, el rey Juan II de Castilla otorgó a la villa el título de ciudad con el objetivo de intercambiársela a Pedro Fernández de Velasco, conde de Haro, por Peñafiel. La población de
Frías se negó a aceptar al conde de Haro como su señor, lo que llevó al enfrentamiento y asedio de la
plaza, que tuvo que rendirse tras un largo tiempo, y acatar las normas del nuevo señor.