Costruita per volontà testamentale di Maddalena Trotti, la prima pietra è posata nel 1631.
Le vicende edilizie della chiesa di S.Carlo, dedicata ufficialmente ai SS.Carlo ed Anna, si risolvono nella lentezza dell'avanzamento della fabbrica. Gli eventi bellici del tempo obbligarono a ripetute interruzioni nella costruzione (nel frattempo il titolo di parrocchia era tenuto dall'attiguo oratorio dell'Annunziata); il coro fu compiuto nel 1665, e la chiesa fu terminata soltanto nel 1714, data alla quale va fatto risalire anche il bel sagrato in ciottoli bianchi e neri.
Nel 1892 fu rialzato il campanile su progetto dell'ingegnere Crescentino Caselli e nei primi decenni del Novecento venne demolita la piccola sagrestia, costruita insieme al campanile originale con il materiale derivante dalla demolizione della prima cappella di S. Maria della Creta, avvenuta nel 1764. La sagrestia collegava la chiesa all'oratorio dell'Annunziata, demolito anch'esso alla fine degli anni Quaranta.
In una celletta dietro la chiesa Paolo Daneo, poi divenuto santo come San Paolo della Croce, tra il 1720 e il 1721 scrisse il primo testo della regola dei Passionisti.
Le stanze occupate dal futuro santo ospitano oggi un piccolo museo sulla sua vita, gestito dai Padri Passionisti che abitano la casa retrostante la chiesa.
All'interno segnaliamo:
- la statua in legno (a "finto marmo di Carrara") della Madonna del Carmine con Bambino, autore il genovese Anton Maria Maragliano, opera del secondo decennio del Settecento;
- il coro ligneo risalente al 1665.
L’oratorio della confraternita dell'Annunziata era situato a lato della chiesa di San Carlo, ove ora è presente un giardino pubblico. Detto anche di S.Maria degli Angeli, figurava esistente già nei registri del catasto del 1563. Durante la costruzione della chiesa di S.Carlo l'Annunziata assunse il ruolo di chiesa parrocchiale, anche se le celebrazioni religiose venivano tenute con difficoltà per le ridottissime dimensioni e per le cattive condizioni dell'oratorio.
Uscendo dalla chiesa giriamo a destra in via Cavour, passiamo sotto i portici del Palazzo Municipale in via XXV Aprile e imbocchiamo a sinistra via Umberto I, dove si trova la chiesa di San Sebastiano.
