De congregatie van de Zusters van Onze Lieve Vrouw van Amersfoort werd in 1822 in Amersfoort gesticht. Aanvankelijk woonden de zusters in de Muurhuizen. Halverwege de negentiende eeuw namen zij hun intrek in Huis Cohen aan de Zuidsingel 38, een monumentaal pand uit 1780.

De zusters gebruikten het gebouw als klooster en richtten er ook een meisjeskostschool in. In 1926 vertrokken de eerste zusters vanuit Amersfoort naar Oost-Java, waar zij onder meer actief waren in het onderwijs aan meisjes. Zo kreeg de congregatie naast haar lokale betekenis ook een rol binnen de Nederlandse missiegeschiedenis in Indonesië.