L'origine del tempio dedicato a San Giovanni Battista, poi patrono della città, è ancora incerta. La tradizione vuole che sia stato fondato in epoca romana e dedicato al dio Marte. Da questa area provenivano infatti alcuni sarcofagi, oggi nel Museo dell'Opera del Duomo, e la famosa statua di Marte che le cronache medievali ricordano all'imbocco del Ponte Vecchio. Altri sostengono invece che l'edificio fosse il Pretorio e la statua quella di un re barbarico.

Lo stesso Dante dichiarava il suo "bel San Giovanni" (Inferno, canto XIX) edificio romano e classico e in effetti gli scavi dell'ultimo secolo hanno rivelato resti di costruzioni romane sotto il Battistero e sotto il Duomo, sorti nell'area nord-est della prima cerchia di mura. Su queste basi antiche andò certo a poggiare la fondazione del primo San Giovanni, che si può collocare nel IV-V secolo.
Alla costruzione paleocristiana, forse rimaneggiata o completata nei primi decenni del VII secolo durante la dominazione longobarda, appartengono l'impostazione ottagonale, i due ordini inferiori, l'attico e l'imposta della cupola, ovvero la struttura architettonica vera e propria.