La parte presbiteriale esterna
 
Nel corso dei secoli, ed in particolare per la costruzione dell'ospedaletto retto dalla Confraternita dei Rossi, sono addossati alla chiesa numerosi edifici, dei quali alcuni sono demoliti nel 1903 per la costruzione del palazzo in stile liberty all'angolo fra il Corso e via Cairoli, ed altri nel 1937. Quest'ultima demolizione ha consentito di "liberare" l'abside della chiesa, e dunque di rendere visibile la sola parte di essa in cui è possibile osservarne l'antico tessuto murario. È, questo,in bozze di travertino disposte secondo corsi orizzontali e paralleli; del paramento originario rimangono tracce sul lato destro e nello zoccolo, che mostrano come sia stato realizzato con una accurata lavorazione. «L'abside mostra la sua derivazione lombarda mediante la spartizione a strette lesene di sezione circolare, quasi semicolonnette, che si staccano dal coronamento di archetti pensili in ragione di ogni tre elementi, scompartendo così l'intera superficie convessa in più parti e raccordando direttamente il coronamento alla base conferendo snellezza all'abside con maggior eleganza di quanto avvenga a S. Pietro a Cedda, che ha un motivo di lesene a sezione semicircolare assai simile a questo. Una finestra a doppio strombo si trova nel mezzo dello scomparto centrale. Altre finestre, dello stesso tipo, sono poste nel ristretto spazio che la curva absidale lascia nelle pareti rettilinee presbiteriali. I resti di questa Chiesa, praticamente invisibili prima della costruzione della Camera di Commercio, sono stati in occasione di questi lavori, consolidati e resi visibili dalla pubblica via creando intorno ad essi una piazzetta in scala con le dimensioni dell’abside. Il Salmi ricorda nelle sue note la Chiesa di S. Pietro di Grosseto come tipico edificio romanico ad una sola navata di cui resta l'abside, del secolo XII, lombardescamente scompartita ad archetti e lesene.

Ricordiamo che la medesima spartizione dell'abside di San
Pietro si ritrova nei resti di quella della Badia ad Isola» (M.MORETTI '62, pp.317-318). Il campanile, a pianta quadrangolare irregolare, è stato eretto nel 1625, Alla base è in pietra e mattoni, con un contrafforte in mattoni sul lato di via Cairoli, mentre è tutta in mattoni, con lesene angolari, la parte superiore divisa in tre ordini da cornici, con quattro aperture ad arco. Alla sommità del campanile è una cupola in mattoni, sormontata da una lanterna cieca. «Ivi furono appese le due campane, che appartenevano alla chiesa della prossima S.Maria Alborense o dell' Alberese, una delle quali era stata fusa nel 1263 e l'altra nel 1347, quest'ultima da Ricciardo Fiorentino. Dette campane più non esistono da un pezzo e furono rimpiazzate da altre che la pubblica pietà vi appose nel 1869» (A.ADEMOLLO '894, pp.104-105).