È notizia certa, fornita da documenti di archivio, che il mestiere del fornaciaio fosse diffuso a Castel Viscardo già dal XVI secolo, e che tra quei fornaciai vi fossero gli avi della famiglia Stefani. Già a partire dagli inizi del 1600, se non anteriormente, la produzione del cotto avveniva nel sito dove tuttora sorge l'attuale fornace, in località Le Trobbe. Il documento sottostante testimonia che dalla metà dell'Ottocento fino ad oggi il mestiere dell'artigiano è stato tramandato di padre in figlio all'interno della famiglia, facendo della Fornace Stefani una delle pochissime fornaci del paese che si può realmente definire secolare.
Nell'arco della prima metà del '900 l'attività artigianale della fornace procede con continuità nonostante il pesante momento storico, venendo interrotta solamente fra il Settembre 1943 e il Giugno 1944, quando i tedeschi la requisiscono per installare una batteria contraerei. Durante il secondo dopoguerra nella stessa fornace lavorano quattro ditte differenti appartenenti ad altrettanti componenti della famiglia Stefani, tutti affittuari del Duca di Montevecchio, allora padrone di quelle terre.
Nel 1979 gli attuali proprietari, Stefano e Petronio Stefani, rilevano il terreno su cui per secoli la famiglia ha lavorato e portano la fornace nel nuovo secolo, mantenendo comunque le medesime tecniche di lavorazione e le medesime strutture che hanno ereditato dagli avi.