Højbyen, den ældste del af Kalundborg, blev omhyggeligt planlagt i slutningen af det 12. århundrede med en unik linseformet struktur. Hovedgaden, Adelgade, løber lige mellem to tidligere borge, med Vor Frue Kirke centralt placeret på det højeste punkt. Dette design afspejler middelalderens tilgang til byplanlægning, hvor både forsvar og fællesskabsstruktur var i fokus.
I dag bevarer Højbyen sin historiske charme med velholdt middelalderarkitektur. Bemærkelsesværdige bygninger inkluderer Præstegade 23, et af Europas bedst bevarede middelalderlige byhuse, og Den gamle Latinskole i Præstegade. Besøgende kan også udforske Bispegården og Kalundborgs gamle Rådhus, begge betydningsfulde middelalderbygninger, der bidrager til områdets rige historiske væv.