Over byens sentrum hviler Tønsbergs egen byklippe, Slottsfjellet. Her lå i middelalderen Norges største borganlegg, Tunsberghus. Borgen var strategisk plassert på det som opprinnelig ble kalt Berget.
I dag kan man på området se restene etter Mikaelskirken, Bredestuen, Teglkastellet, Vestkastellet og ringmur med kasteller og rondeller. Tunsberghus ble bygd ut av de norske kongene fra midten av 1200-tallet til slutten av 1300-tallet og var kongelig residenssted og en av de norske riksborgene. I 1503 ble borgen angrepet av svenske opprørssoldater, plyndret og lagt i ruiner. I 1888 ble Slottsfjelltårnet reist på Slottsfjellets høyeste punkt, et 17 meter høyt utkikkstårn til minne om byens tusenårsfest i 1871. Tårnet er åpent for publikum i sommerhalvåret.
Ved foten av Slottsfjellet ligger Slottsfjellsmuseet, byens storstue for historieformidling. Museets utstillinger kretser om byens og regionens historie, særlig med fokus på middelalderen.
