Större delen av Varbergs stad ligger inom församlingens geografiska gränser. En del områden som inte har samma stadskaraktär finns också. Till exempel Getterön med sitt fågelreservat och flygfält i norr och Apelvikens rekreationsområde med Varbergs kurort i söder.
Varbergs kyrka från 1700-talet är tillsammans med Varbergs fästning påminnelser om det historiska Varbergs förändring och utveckling in i nutiden. Ett par kilometer nordväst om torget med Varbergs klassiska kyrka finns Sollyckans kyrka. Den är en del av Håstenområdets blandade bebyggelse med hyreshus, radhus och villor.
Strax bredvid Sollyckans kyrka ligger Varbergs stora kyrkogård, St Jörgens kyrkogård. Den är som en grön lunga mellan bostadsområden och industriområdena i stadens norra del.
Varbergs församling omsluts av Lindberga församling i norr ochTräslövs församling i söder.