Men byen var mye mer enn en lukket og befestet borg. Det var et rikt kirkelig liv i Tønsberg, selv om byen aldri ble bispesete i løpet av middelalderen. Det ble reist minst sju kirker i byen, i tillegg til klostre, hospitaler og en bispegård på Teie, ettersom Oslo-bispen ønsket å være nær kongen som ofte residerte i Tønsberg. Det var derfor ikke utelukkende kongens hoff og embetsmenn som satt sitt preg på byen, men også lærde prester, munker, kanniker og andre kirkelige representanter. I dag er det kun middelalderkirkene bygget utenfor byen som fortsatt står, det er Sem, Ramnes, Våle og Fon kirker. Vi finner likevel spennende spor etter både kirker og klostre i byen i form av ruiner, og man kan få et inntrykk av byens storhet i middelalderen.