Il Palazzo della Provincia sorse a fianco delle antiche mura, fra Porta Bologna e il Baluardo di San Pietro, nella schiera di palazzi che dal 1844 al 1849 sostituì vecchie case fatiscenti. Committente il duca Francesco IV d'Austria d'Este, progettista e direttore dei lavori fu Cesare Costa, fra i protagonisti dell'architettura della Restaurazione negli Stati estensi.

Il palazzo era detto "Fabbrica del Caffè", in quanto il  piano nobile avrebbe dovuto ospitare una coffee house, collegata da un cavalcavia al tratto più mondano delle mura. Una destinazione a luogo d'incontro che condizionò le linee dell'edificio, ispirato al padovano Caffè Pedrocchi di Giuseppe Jappelli nell'articolazione dei due corpi laterali e nella loggia a colonnato; mentre la sequenza atrio-cortile-atrio creava una galleria tra il retrostante corso Adriano e il percorso delle mura. Poi, per motivi economici, il caffè non fu mai aperto e il cavalcavia mai costruito.

Il Palazzo ospitò il Ministero degli Interni, la Biblioteca dell'Università e altri istituti. Nei primi anni '60 dell'Ottocento, dopo l'annessione del Ducato al Regno unitario, fu acquistato dalla Provincia. Gli interni hanno mantenuto testimonianze dell'antico decoro: l'atrio colonnato, il cortile, lo scalone d'onore tra i più suggestivi dell'800 modenese, gli ambienti di rappresentanza tra cui la Sala di Giunta, la cui terrazza domina il parco cittadino.

Dal 1994 vi è allestita la Raccolta d'Arte Provinciale, che espone oltre un centinaio di opere, dalla fine del '500 alla metà del '900, in una ritrovata destinazione pubblica e culturale. Rilevanti i dipinti ottocenteschi di Luigi Manzini, Giuseppe Zattera, Narciso Malatesta, Giovanni Muzzioli, Gaetano Bellei, Augusto Valli