Il primo insediamento dei Cappuccini risale al 1559 e si trattava di una piccola abitazione addossata ad una chiesa dedicata a S. Giorgio. Fu abbandonato per un nuovo convento sul Colle S. Bartolo, distante dalla città «passi humani mille 700»; sul terreno adiacente alla chiesa chiamata ancora la Madonna dei Cappuccini.
Il convento fu iniziato nel 1572 e nel 1574 venne celebrata la messa nella nuova chiesa intitolata a S. Bernardino da Siena. La Relazione del 1650 informa che vi erano 31 celle e 5 infermerie; vi risiedevano 22 religiosi, di cui 11 sacerdoti, 2 chierici e 9 laici; al convento era annesso un orto. Nel 1656 si costruì un terzo convento in località Trebbio, all’interno della città a ridosso delle mura di cinta; nel 1660 fu consacrata la chiesa intitolata all’Immacolata Concezione. Nel 1798 i frati furono costretti a trasferirsi nel monastero di S. Maria degli Angeli; dieci anni dopo si ebbe la soppressione napoleonica ed il convento fu riaperto solo nel 1814.
Dopo l’ultima soppressione del 1866 la chiesa fu chiusa nel 1893 ed il convento venne adibito a caserma fino al 1903 quando tutto il complesso fu distrutto e sul sito fu costruito l’Ospedale S. Salvatore. Nel 1888 fu costruito l’attuale convento la cui chiesa, sempre dedicata all’Immacolata (a navata unica a tre cappelle su ambo i lati) è dal 1911 sede della parrocchia di S. Francesco d’Assisi.