Il santuario sorge su un preesistente oratorio sempre dedicato al santo. San Fermo secondo la leggenda era un soldato romano che fu martirizzato a Verona durante l’impero di Massimiano ma che la critica più recente ha dimostrato essere stato ucciso per fame a Cartagine sotto Decio.
Il suo culto pervenuto nell’Italia settentrionale dall’Africa, sembra sia stato diffuso a Vergosa da carrettieri provenienti da Verona e da Bergamo. La chiesa fu costruita nel 1592 e le pareti vennero affrescate nel XVII secolo ma di queste pitture restano solo poche tracce: un San Pietro Martire, sotto la cantoria, e un S. Carlo Borromeo.
Nello stesso secolo furono rialzati i muri, gettata la volta e trasformata la pianta a croce latina, eretto il peristilio davanti alla facciata e alzato il campanile. Successivamente vi furono altri restauri e opere di manutenzione anche se la chiesa non è più stata modificata. All’interno della chiesa ricordiamo anche la statua rappresentante San Fermo e su una parete dell’altare un dipinto del 1583 eseguito dall’artista comasco Cesare Carpano.
