Nell'alto Medioevo Mutina sopravvive come cittadella vescovile attorno alla Cattedrale, cresciuta sulla tomba del patrono San Geminiano, vescovo del luogo vissuto nel IV secolo, inumato in una necropoli nell'area dell'odierna piazza Grande, rimasta ai margini dell'ormai ridotto abitato di Mutina. Proprio la zona vescovile attorno al sepolcro del santo diverrà il centro della Modena medievale e odierna.  

Dal X secolo Modena si rafforza grazie ai privilegi concessi dall'autorità politica ai suoi vescovi, a partire dall'892, quando l'imperatore Guido aveva dato al vescovo Leodoino la facoltà di erigere mura più ampie. Attorno al Mille, anche Modena beneficia delle innovazioni agricole, che contribuiscono a liberare manodopera contadina; inoltre, lo sviluppo economico e demografico è favorito dalla regimentazione delle acque e dal loro sfruttamento, mediante canali che permettono l'attività di mulini e di laboratori artigianali, ma anche trasporti più economici lungo le vie d'acqua. Si va creando così una fascia sociale di cives che gestirà il governo della comunità; ed è la comunità che nel 1099 intraprende la costruzione del celebre Duomo romanico, il terzo dei templi edificati sulla tomba di San Geminiano. Il cantiere, diretto dall'architetto Lanfranco e arricchito dalle sculture di Wiligelmo e seguaci, sarà portato avanti dai maestri Campionesi, come potente affermazione di valori civici e spirituali. Il Duomo, la sua torre campanaria Ghirlandina e l'adiacente piazza Grande nel 1997 sono stati dichiarati dall'UNESCO "Patrimonio dell'umanità".

La città medievale, rafforzata dalla Pace di Costanza del 1180 che segna la fine delle lotte fra liberi Comuni e l'imperatore, si amplia con le cinte di mura del 1188 e quindi del 1381. Verso il 1175 Pillio da Medicina inizia a tenere le sue lezioni di diritto, momento di nascita dell'illustre Università modenese; nel mentre, sorgono le sedi del governo cittadino sulla piazza Grande, che si fonderanno nel Palazzo Comunale.

Ma le frequenti lotte tra fazioni inducono, nel 1288, a consegnare Modena agli Este, signori di Ferrara, che costruiranno il Castello estense poi distrutto nella rivolta del 1306, riedificato nel 1336, e infine inglobato nel seicentesco Palazzo Ducale. Nel reticolo stradale plasmato dal corso dei canali, s'innalzano le case-fortilizio dei nobili e dei maggiorenti, chiese come quella di San Paolo, e i grandi monasteri disposti a croce presso le porte delle mura: a sud nel 1221 s'insediano i Francescani con la chiesa di San Francesco; sulla metà del Duecento, a ovest gli Agostiniani e a nord i Domenicani; a est, nel 1319, i Carmelitani.