Nettopp for å sikre Vestfold og Tønsberg som en del av det norske riket innsatte, ifølge Snorre, Harald Hårfagre på begynnelsen av 900-tallet sin egen sønn, Bjørn Farmann, som konge over Vestfold, med Sem kongsgård, rett utenfor Tønsberg, som kongssete. Snorre beskriver Bjørn som en klok og fredelig type. Tilnavnet Farmann fikk han fordi han hadde mange handelsskip og ofte var på handelsreiser til mange land. Norske, danske og tyske handelsskip var nå ofte å se i Tønsberg. Men den rolige og sindige småkongen skulle få en brutal død. Rivalisering med halvbroren Eirik Blodøks endte til slutt med at Bjørn Farmann ble hugget ned og drept utenfor Sem kongsgård i 927. Ifølge Snorre ble han hauglagt i Farmannshaugen ved kongsgården. Om dette stemmer, vet vi ikke sikkert i dag, men det som i dag kalles Farmannshaugen er i alle fall blitt et kjent landemerke i åkeren rett sør for Jarlsberg hovedgård. Bjørn Farmanns banemann, Eirik Blodøks, fikk ikke tilnavnet sitt ufortjent. Også to andre av Eiriks halvbrødre måtte bøte med livet i Tønsberg under hans blodige øks, Olav og Sigrød. Ifølge Snorre falt disse i kamp ved Gunnarsbø i 934 og ble hauglagt på Haugar. De to haugene som etter tradisjonen er Olavs og Sigrøds endelige hvilesteder på jorden, står der ennå, men vi kan nok aldri få vite om det faktisk er Hårfagre-sønnene som hviler der.