Sorto sulla metà del Cinquecento come monastero dei Francescani, con annessa la chiesa di Santa Margherita e Santa Cecilia, fu adibito a caserma dal 1789 per volontà del governo napoleonico. Fu poi ristrutturato nel 1830 dall'architetto ducale Francesco Vandelli, allievo di Giuseppe Maria Soli, per volere di Francesco IV d'Austria d'Este che lo volle trasformare in abitazione per il personale della vicina corte ducale. Dal 1875 divenne sede del Patronato pei Figli del Popolo, istituto di assistenza e di istruzione per bambini e ragazzi.

Attualmente il palazzo ospita istituzioni culturali del Comune di Modena: dal 1992 la Biblioteca Civica Antonio Delfini, dal 1997 la Galleria Civica - con la Raccolta Fotografica e la Raccolta del Disegno contemporaneo - e il Museo della Figurina.

Nel lato porticato su via Goldoni ha sede l'Istituto musicale Vecchi-Tonelli.

La facciata principale dell'edificio sul corso Canalgrande, che cela la struttura della grande chiesa ove è collocata la Biblioteca e dell'antico convento, ben esprime il carattere classicistico dell'architettura della Restaurazione, con la presenza centrale delle lesene sormontate da trabeazione e da timpano triangolare. All'interno, si segnalano il vasto chiostro con quadriportico e il maestoso scalone con uno scenografico gioco di rampe parallele.