Em 1547 foi doado à Ordem dos Carmelitas Calçados vindo a ser extinto, pela lei de 1834, passando para a Venerável Ordem Terceira de São Francisco, onde hoje se mantém instalada. Apesar de ter sofrido várias alterações o complexo do antigo colégio conserva painéis de azulejos originais bem como algumas pinturas