Entre 1600 e 1610 já no Logar do Olham havia uma capela ou ermita da invocação de Nossa Senhora do Rosário (actual capela de Nossa Senhora da Soledade, a que o povo chama igreja pequena). Em 1680 o Logar do Olham teria no máximo 100 a 150 moradores.
Em 1694 existiam 750 a 800 moradores, o que denota um grande progresso que por certo se deveu ao facto de aos primeiros povoadores do sítio, outros se terem vindo juntar, igualmente atraídos pela abundância da água ou pelo próprio progresso da aldeia, mas continuava a não haver ainda nenhuma construção de alvenaria.
Com efeito a nova Igreja Matriz de Nossa Senhora do Rosário, segundo a legenda gravada na cantaria sobre a porta principal, ".... foi fundada reinando Pedro II / Simão Bispo consagrou a Deus / a Primeira pedra a 4 de Junho de 1698" e só em 1715 é que a rainha concedeu a um mareante autorização para levantar na Praia do Olhão "..... uma morada de casas, para sua vivenda e habitação". Em 1724 o Pároco de Olhão pedia e era autorizado a construir, em anexos, ".... umas casas para a fábrica da Igreja" casas que construídas alguns anos depois, supõe-se serem as dois pisos que foram adoçadas à face posterior da Igreja já com esta terminada, como hoje ainda se pode verificar, e onde desde então se encontram as arrecadações anexas do lado Norte, o oratório do Nosso Senhor Jesus dos Aflitos e as instalações da junta da Paróquia, depois chamada Junta da Freguesia.
A construção da nova Igreja Paroquial e da primeira habitação de pedra e cal constituiu sem dúvida, o início de um grande desenvolvimento urbanístico da modesta aldeia de Olhão, pois três anos decorridos em 1718 já haviam inúmeras casas de alvenaria. E logo em1722 a 8 de Junho por necessidade de expansão da aldeia, procedia-se a nova demarcação da área da freguesia.