La pieve fu fondata nel 749, assieme a un monastero con ospizio per pellegrini, da Sant'Anselmo, già duca del Friuli, con il sostegno del cognato Astolfo, re dei Longobardi, in una strategia di controllo del vicino valico della Croce Arcana, sull'antica via Romea. L'intitolazione a San Silvestro indica la dipendenza dall'Abbazia di San Silvestro di Nonantola, fondata da Sant'Anselmo nel 752.

Tempio romanico tra i più importanti dell'Appennino, s'ispira al Duomo di Modena nella pianta basilicale a tre grandiose navate. Nel 1612-'16 fu ristrutturato invertendone la pianta: la facciata fu spostata nella zona absidale e si costruirono il transetto, la cupola e altre cappelle. Nel 1901-'5, durante lavori di "restauro" riaffiorò la cripta, poi richiusa, sotto l'attuale ingresso; all'epoca risale la facciata neoromanica.

Sono diverse le ipotesi sugli autori di questo monumentale tempio romanico: "maestri antelami" d'origine genovese; o maestri comacini provenienti dall'area lombarda, in rapporto con la Toscana; oppure scultori locali che s'ispirarono a esempi più alti.
Varie colonne provengono dalla chiesa medievale, ritenuta del XII secolo con rifacimenti duecenteschi. I loro capitelli sono scolpiti con figure umane e teste di animali sugli spigoli; nella fila di destra, il terzo reca la data 1206; sul quarto è dipinta una Madonna col Bambino della cerchia di Barnaba da Modena (sec. XIV).

I rilievi degli archivolti e delle mensole della navata centrale, a motivi arcaici di palmette e nastri intrecciati, sembrano reimpiegati dalla chiesa longobarda dell'VIII sec., ma per alcuni studiosi sarebbero d'età romanica, ripresi da modelli più antichi.

Il ricchissimo arredo testimonia il rilievo culturale ed economico di Fanano nei secoli: si segnalano nella navata di destra Santa Cecilia, capolavoro del dalmata Matteo Ponzone, del 1635 circa (quarta cappella); una Madonna col Bambino e Santi del toscano Passignano, del 1610 circa (quinta cappella) e a sinistra, Sacra Famiglia di Francesco Curradi, pittore fiorentino seicentesco (seconda cappella).