A construção do Paço dos Três Escalões, com início a 6 de Julho de 1593, no local do paço episcopal, deve-se à necessidade de criar na cidade um seminário ou um colégio para a formação do clero. Embora se desconheça a autoria do projeto, é legítimo apontar para uma origem castelhana, à semelhança do que sucedeu com o desenho da fachada da Catedral, encomendado alguns anos mais tarde a um arquiteto de Salamanca. O imponente edifício granítico, cujo último piso terá sido acrescentado já no séc. XVIII, mantém uma relação singular entre sobriedade e monumentalidade, sobretudo através da extensa fachada Norte, em cujo efeito cenográfico se configura e desenha a própria cidade.

O projeto de intervenção de que foi objeto, entre 2001 e 2003, de autoria do Arquiteto Eduardo Souto Moura, libertou o interior dos muitos elementos apostos e desvirtuantes, e adaptou-o às exigências de um programa museológico novo.