Se construyó en el siglo XII como parte de las defensas de la
muralla de la ciudad, ya que la defensa de cada
puerta de la misma estaba encomendada a un prelado.
El dueño del
palacio, el obispo, tenía que defender la puerta de la
catedral. Estaba adosado al tramos de muralla que discurre entre dos
puertas, la anterior y la puerta de
San Vicente