Il 12 Luglio nel 1593 muore Domenico Billò, rigattiere e, secondo alcuni, calzolaio. Proprietario di alcune case in via Fieravecchia, inizia col dare ospitalità a fanciulle indigenti fino al 1580 anno in cui fonda la “Congregazione delle Povere Abbandonate”, popolarmente conosciuta come “il Refugio”. L’istituzione è appoggiata e finanziata dai generosi contributi di mecenati come Girolamo Benvoglienti o come il conte Aurelio di Agostino Chigi che, alla morte del Billò, si fa carico dell’ente e gli subentra nella carica di Camarlengo. Nello stesso 1593 Chigi acquista anche il palazzo dei monaci di San Galgano (eretto nel 1480) e, al momento, di proprietà di Girolamo Pannilini. La Congregazione con l’appoggio dei nobili, dell’Arcivescovo Ascanio Piccolomini, del Granduca Ferdinando de’ Medici, ottiene sovvenzioni tali che Aurelio Chigi vi affianca la “Congregazione delle Vergini del Soccorso” volta all’accoglienza delle giovani appartenenti a nobili famiglie decadute e, pertanto, “a gravi pericoli esposte”. Alla fine del Cinquecento Palazzo San Galgano è oggetto di molti lavori di ristrutturazione, svolti quasi in concomitanza alla stessa fabbrica dell’ edifico dell’altra congregazione chigiana, quella delle Vergini del Soccorso, appunto, posto sempre in via Fieravecchia e ultimato intorno al 1611. In San Galgano si aggiungono il cortile interno, la sacrestia e la cappella Chigi, e queste ultime vennero realizzate affinché le fanciulle non avessero ad uscire di frequente dal palazzo avendo sempre a loro disposizione un luogo in cui pregare. Nel 1601 inizia anche la costruzione della Chiesa di San Raimondo al Refugio. Nel 1785 il Granduca di Toscana Pietro Leopoldo trasforma la Congregazione nel Conservatorio di San Raimondo al Refugio e lo destina all’educazione e all’istruzione delle giovani nobili, accogliendo anche ospiti provenienti da molti conventi e congregazioni soppresse.