Odierna sede dell'Accademia Militare, la grandiosa dimora dei duchi d'Este fu edificata a partire dal 1634, inglobando nel settore sud-est il preesistente Castello medievale, su progetto dapprima del romano Girolamo Rainaldi e quindi del suo allievo Bartolomeo Luigi Avanzini, architetto di Francesco I; importante fu il contributo progettuale di Gaspare Vigarani, ingegnere e scenografo.

Inoltre, fornirono pareri i maggiori esponenti della cultura barocca: Bernini, Borromini, Pietro da Cortona.

L'imponente facciata è dominata dal Torrione centrale e conclusa da due torri laterali, "citazioni" dall'edilizia castellana; è coronato da una balaustrata con statue, secondo una soluzione tipica del barocco romano.

All'interno, luoghi di grande suggestione sono il cortile monumentale con porticato e soprastante loggiato, lo scalone che ricorda quello di Palazzo Barberini a Roma e il fastoso "Nobile Appartamento", dove emergono il Salone d'onore affrescato da Marcantonio Franceschini fra il 1694 e il '96 con L'incoronazione di Bradamante, la sala seguente con stucchi e volta dipinta da Francesco Stringa nel 1695 con Lo sposalizio di Amore e Psiche e il Salottino d'oro, gioiello del rococò "alla francese" del 1752-'53.

Il Museo Storico dell'Accademia Militare espone armi e armature, memorie, cimeli e militaria.