Os primeiros rapazes foram acolhidos numas casa de habitação que foram adaptadas para as novas funções. Como o espaço era exíguo foi necessário comprar mais casas contíguas. Já em 1793 se começa a pensar em formar um edifício que pudesse albergar centenas de alunos. Esse edifício veio a ser construído entre o Campo da Vinha, o Campo dos Touros e a Rua de Santo António.
Ao centro tinha um claustro quadrado com arcada e no meio um chafariz com quatro bicas. As obras começaram em 1805. Com o passar do tempo as instalações vão-se degradando, as condições de salubridade e higiene são fracas, portanto foi necessário encontrar um melhor local para instalar o colégio. Em 1861 o edifício do Campo da Vinha foi declarado impróprio.
A Comissão Administrativa entendeu que o melhor local seria no Hospício das Carvalheiras. Entre 1870 e 1880 nasceram três projetos para construir um novo edifício. Depois de muitos contratempos e vicissitudes foi abandonado o projeto da construção deste edifício.
Em 1885 foi sugerido que se pensasse na aquisição de uma casa e quinta no largo da Madre de Deus, propriedade da família Falcão Cota, que estava à venda. Assim em 24 de Maio de 1885 o colégio adquiriu em hasta pública uma casa e quinta denominada “Casa de Gondariz”, no lugar da Madre de Deus, freguesia de S. Pedro de Maximinos, Braga. Por cima do portão de entrada no átrio do Colégio e no átrio da antiga capela, ainda hoje vemos o brasão de armas da família Falcão Cota (Fig. 7 – Uma cota de guerreiro e 3 varas de peregrino e um falcão com uma vara de peregrino no bico).
Em 26 de Abril de 1886 o colégio mudou definitivamente para as atuais instalações. O lugar da “Madre de Deus “ tem esse nome devido à capela, sob essa invocação de Nossa Senhora, que havia no solar antigo.
Foi necessário adaptar esse solar para as novas funções e ampliar os espaços por causa do grande número de crianças e jovens acolhidos e variedade de tipos de formação a administrar. Em 1888 começaram as obras sob um projeto da autoria de Joaquim Augusto Correia Guimarães. As obras foram sendo executadas por fases e logo que prontas inauguradas.
Em 1890 a Administração resolveu dar alguma nobreza à parte nova do edifício, criando uma fachada monumental para a entrada na igreja com projeto de Augusto Stamm. No decorrer dos anos foi necessário concorrer a diversas obras de adaptação e manutenção. As últimas grandes remodelações aconteceram entre os anos 1986 e 1997.