Den som vokste opp i Tønsberg på begynnelsen på 1800-tallet og fikk leve sitt liv i byen gjennom det meste av dette århundret var med på litt av en reise. Det var da den moderne tid kom til Tønsberg.
Fra å være en liten tradisjonell kystby før 1814, riktignok med en voksende sjøfartsnæring, skulle Tønsberg oppleve en enorm utvikling i løpet av 1800-tallet. Fra lokalt selvstyre, reformer i skole- og helsevesen og en gryende industri til bedre veier og etter hvert jernbane, telegraf, telefon og til sist elektrisitet. Også innen sjøfarten gikk utviklingen raskt; dampskipet og nye fangstmetoder skulle bli viktige nyvinninger. Tønsbergs sterke utvikling er ikke minst synlig i befolkningsveksten, som steg fra knappe 1500 innbyggere i 1815 til over 8000 i 1900.
Men 1800-tallet begynte ikke særlig godt. Etter en utarmende krig, Napoleonskrigene, var Danmark-Norge blant de tapende parter, og Norge ble i januar 1814 overlevert som krigsbytte til svenskekongen. Men krefter innen den norske patriotismen ville det annerledes, og det ble kalt inn til en grunnlovgivende forsamling på Eidsvoll. I Tønsberg skulle man peke ut én person til å representere byen. Det skjedde i Mariakirken 4. mars 1814, og valget falt på den vel ansette kjøpmannen Carl Stoltenberg. Det var likevel Jarlsberg-representanten fra rett utenfor bygrensa, Herman Wedel-Jarlsberg, som skulle gjøre seg langt mer bemerket på Eidsvoll. Wedel-Jarlsberg ble den førende stemmen innen det såkalte unionspartiet, og etter hans syn gikk eneste realistiske vei til norsk selvstendighet gjennom en løsere union med Sverige. Wedel-Jarlsbergs linje tapte slaget på Eidsvoll, men vant på mange måter likevel fram da Sverige krevde sin rett og gikk til krig mot Norge. Landet ble tvunget inn i union med Sverige, men Eidsvoll-grunnloven fikk Norge beholde, om enn med noen justeringer.
Tiden etter 1814 var krevende – også for Tønsberg som var avhengig av å få sjøfartshandelen på fote igjen. Men fra 1840-tallet ble det lysere utsikter. Da hadde også formannskapslovene noen år tidligere blitt stemt fram i Stortinget. Fra 1837 fikk Tønsberg eget bystyre og formannskap, og kjøpmann Christopher Seeberg ble valgt til byens første ordfører. Men fra starten av var det ikke all verden av økonomiske muligheter det nyvunne selvstyret hadde å rutte med. Først fra 1850-tallet ble det rom for større investeringer, særlig innen vei, skole og helse. Og de lokale myndighetene tok til å satse. Det er ikke tilfeldig at nytt allmueskolebygg, Slottsfjellskolen, som ble innviet i 1884, ble et praktbygg. Opplysning og kunnskap skulle lyse over byen.
Den virkelige økonomiske kraften i Tønsberg var sjøfarten, og denne opplevde en eventyrlig vekst målt i tonnasje og antall skip 1800-tallet sett under ett. Omkring 1850 knivet Tønsberg med Arendal om å være landets fremste sjøfartsby. Nye fangstmetoder innen sel- og hvalfangst, der særlig Svend Foyn var sentral i utviklingen, og overgangen fra seil- til dampskip, betydde også økende inntjeningsmuligheter for byens mange redere. Både i byen og i de omkringliggende bygdene ble det bygget et stort antall skip i skipsbyggeriene.
Med økende velstand, også privat blant byborgerne, og etter hvert også mer fritid, åpnet muligheten seg for fritidsaktiviteter. Fra midten av 1800-tallet ble Tønsberg stadig gjestet av omreisende teater- og musikkensembler, sirkus og tryllekunstnere, og de aller fleste ble tatt vel imot av Tønsberg-publikummet. Men ikke alle syntes det var tilstrekkelig å være passive tilskuere. Fra midten av 1800-tallet vokste det også fram et frivillig foreningsliv i byen. Den første kulturforeningen var Tønsbergs Sangforening i 1846, Tønsberg Skytterlag, stiftet 1860, og Tønsbergs Turnforening, stiftet 1863, var de første idrettsforeningene. Etter disse fulgte en lang rekke foreninger innen musikk, billedkunst og idrett samt rene selskapsforeninger. Kulturbyen Tønsberg var født. I 1886 åpnet også Arbeiderforeningen dørene til det nye foreningslokalet i Kammegaten, byens nye kulturelle storstue.
I byen blomstret dessuten handelslivet. Flere spesialforetninger kom til, som bokhandlere og konfeksjonsforretninger med siste mote. Trykkerier og presse vokste også fram, fra 1880-tallet dominerte venstreavisa Tunsbergeren og høyreavisa Tønsbergs Blad. Byborgerne samlet seg til dans og utendørskonserter, og fant gode anledninger til å holde folkefester. Tusenårsfesten i 1871 og innvielsen av Slottsfjelltårnet i 1888 samlet tusenvis til fest og feiring av byen. Interessen for byens historie ble også stadig sterkere. Fra 1870-tallet ble byens middelalderruiner grundig undersøkt og opptegnet. De fremste norske historikerne fattet sterk interesse for Tønsberg. Og endelig fra 1894 fikk Tønsberg sitt eget bymuseum, forløperen til dagens Slottsfjellsmuseum, som åpnet dørene i Slottsfjelltårnet i 1896.
Men ikke alle så nødvendigheten av å bevare byens historie, særlig ikke hvis den var til hinder for byutvikling. Allerede før 1815 ble Lavranskirken revet etter mange års forfall. På 1860-tallet raste debatten om også Mariakirken måtte vike for nytt rådhus og nytt torg. Mariakirken hadde dessuten fått mindre bruksverdi etter at den storslåtte Tønsberg kirke, dagens domkirke, ble innviet i 1859. Mariakirken, det siste stående middelalderbygg i byen, ble revet, og nytt rådhus ble innviet i 1867. Den nye tid var definitiv i emning. Og nærmest i egen person kom framtiden dampende inn på Tønsberg stasjon under en stor fest til ære for åpningen av Grevskapsbanen, dagens Vestfoldbane, 13. oktober 1881. Selveste kong Oscar II var ærespassasjer.
Men ikke alle fikk ta del i denne utviklingen, i alle fall ikke i framtredende roller med makt og myndighet. En stor andel av innbyggerne hadde ingen stemmerett, deriblant kvinnene. Fra 1880-tallet bredte kvinnesaken, og særlig kampen om kvinnelig stemmerett, om seg også i Tønsberg. En foregangskvinne her var forfatteren og skribenten Clara Tschudi fra Vallø. I 1884 var hun en av stifterne av Norsk kvinnesaksforening, og hun skrev bøker og holdt utallige foredrag om kvinnesaken i både Tønsberg og i resten av landet; en innsats hun også fikk internasjonal anerkjennelse for. Kvinners stemmerett lot imidlertid vente på seg, men i 1901 ble det innført begrenset kvinnelig stemmerett ved lokalvalg, og de første tre kvinnene ble valgt inn i Tønsberg bystyre, alle representerte Høyre.
I 1905 ble unionen mellom Norge og Sverige oppløst. Etter over 500 år i unioner eller under fremmed kongemakt, var Norge atter helt fritt og selvstendig. Da den nykronede kong Haakon VII og dronning Maud besøkte Tønsberg i august 1906, var byen igjen pyntet til folkefest. Kanskje nettopp fordi Norge nå var et moderne rike, opplevde landet økt polarisering i tiårene før og etter 1900. Også foreningslivet ble politisert, fra 1912 hadde man i Tønsberg som eksempel egne korforeninger for borgerskapet og egne for arbeiderklassen; innen idretten ble denne splittelsen enda tydeligere. Etter 100 år med eventyrlig vekst og utvikling var byen knapt til å kjenne igjen, og de nye klasseskillene og kampsakene skulle bli stadig skarpere inn på 1900-tallet.
