Fram till 1830 gravsattes Visbyborna i och kring Domkyrkan. Av olika skäl, bl a hygieniska, förbjöds gravsättning inne i kyrkorna och stadsförsamlingarna uppmanades att anlägga större kyrkogårdar utanför stadskärnan. För Visbys del innebar det att den Nya kyrkogården, sedermera den Östra kyrkogården, anlades 1830, en liten bit öster om ringmuren. I samband med koleraepidemin kring 1850 användes även marken i kring S:t Görans ruin strax norr om staden. Efter bara 40 år var dock Östra kyrkogården fullbelagd varför man anlade den Södra kyrkogården 1870. Då invigdes även Östra gravkapellet.
Norra kyrkogården tillkom 1916 och har utvidgats 1967, 1993, 2001samt 2018. Allhelgonakapellet samt krematoriet tillkom i samband med utbyggnaden 1967.