Contudo, devido às diferentes ideias que opunham os mestres provenientes de Bordéus e de Paris, no ano de 1555, o Colégio acabou por ficar sob a tutela da Companhia de Jesus. No ano seguinte, os jesuítas entregaram o edifício ao Tribunal do Santo Ofício, que aqui funcionou até 1821, ano em que foi extinto. Para se adaptar às novas funções os edifícios foram alvo de inúmeras obras sendo, ainda visíveis as antigas celas. É no mínimo irónico que no mesmo espaço em que funcionou um colégio com vista à difusão de ideias renascentistas e humanistas, viesse a funcionar a sede de uma instituição repressiva que visava julgar, reprimir e condenar essas mesmas ideias. De facto, ainda hoje este local é conhecido por Pátio da Inquisição. Após obras de remodelação e adaptação, funciona em parte dos antigos edifícios colegiais, desde 2003, o Centro de Artes Visuais.