Varberg kan bety fjellet der varden sto eller stedet som en varslet krig og ufred fra ved hjelp av veter1). Beliggenheten ved Husabø peker mot den siste betydningen. Plikten til å holde veter går tilbake til Håkon den gode (konge 934-961), og Varberg, som kun rager 125 m.o.h. men har en formidabel utsikt, var et naturlig punkt å ha vete på2).
Ved foten av fjellet, i enden av Øvre Prestegårdsvei, finnes det et lite helleristningsfelt fra yngre bronsealder (ca. 1000 - 500 f.kr.), der motivet er to skipsfigurer.
To kompassroser, en fra 1600-tallet og en fra 1800-tallet, vitner om toppens betydning for tidligere tiders navigering. Ved hjelp av kompassrosa kunne vetevaktene og andre beregne seilingsdata for fiendtlige fartøy på havet utenfor. Losene som fra Varberg speidet etter skip på veg mot havn peilet retningen med kompassrosa og kunne få et forsprang på andre loser i kampen for oppdrag. En bunker fra krigens dager viser også toppens betydning som utkikkspunkt.
Under napoleonskrigene førte ufreden til at staten bygde en kjede av signalstasjoner langs kysten mellom svenskegrensa og Trondheim. I 1809 kom det således opp signalstasjoner og utkikksposter på flere topper ved Egersund, deriblant på Varberg. Stasjonene var dyre i drift og ble demontert i 1818.
Samlaget ville i 1888 bevilge midler til en vindfløy på Kontrari. Da saken ble behandlet, kom det til diskusjon om den skulle settes opp på Varberg eller Kontrari. Det endte med at Samlaget bekostet en fløy på hver av toppene, og de ble satt opp året etter. Fløyen som står på Varberg i dag er en kopi av den opprinnelige.
Varberg lå på prestegårdens grunn og tilhørte staten. De fleste jordene var oppstykket og ble leid ut både til bønder og byfolk mens utmarka ble leid ut til beitemark. Egersund Skog- og Treplantningsselskap forsøkte i 1930-åra å få leie hele fjellet til friluftsformål og plante det til og skape en bynær naturpark. Det lyktes ikke, men etter at kommunen engasjerte seg ble det høsten 1939 inngått en langsiktig avtale mellom kommunen og kirkedepartementet. Kommunen skulle få disponere Varberg i minst 50 år som naturpark. Hele området omfattet rundt 100 mål, og leiebeløpet skulle være kr. 400 pr. år.
I 1968 ble Varbergs rolle som et knutepunkt for kommunikasjon på ny bekreftet. Da reiste Televerket en telestasjon for overføring av både radio- og fjernsynssignaler. Stasjonen er fortsatt i drift.
I dag er Varberg et sentralt friluftsområde som er tilrettelagt med parkeringsplass, tursti rundt toppen og veg til toppen hvor det er montert informasjonstavler og en kikkert for den som vil se nærmere på detaljer i byen og omegn.3)