Até ao final do século XVIII foi morada de importantes instituições como o Convento de São Domingos e o Colégio dos Jesuítas, do qual resta hoje a Capela de São Francisco Xavier e os claustros, bem como um troço considerável de muralha medieval. A fachada originalmente setecentista, foi remodelada no século XIX.