L'Archivio è ospitato nell'imponente palazzo settecentesco già convento dei Domenicani, dove un tempo sorgeva il Tribunale dell'Inquisizione; nel 1810, sotto il governo napoleonico, divenne sede della Prefettura del Dipartimento del Panaro. Con la Restaurazione, nel 1830 fu restaurato per ospitare alcuni ministeri del governo austro-estense.

Dal 1862 accoglie vari archivi preunitari, fra cui l'Archivio Segreto Estense già conservato nel Palazzo Ducale, di straordinaria importanza, documenti relativi alla Casa e allo Stato Estense, chirografi ducali, "gride", statuti, carte riguardanti l'amministrazione dei principi, enti ecclesiastici, archivi di famiglie e di persone private.

Altamente scenografico è lo scalone monumentale a forbice; le sale di consultazione e della Direzione conservano interessanti decorazioni nelle volte con Allegorie di Geminiano Vincenzi, Pietro Minghelli e Biagio Magnanini eseguite durante il periodo napoleonico, che costituiscono un ciclo pittorico emblematico della cultura neoclassica in area modenese.