Svarttorps gamla kyrka byggdes förmodligen under 1100-talet och kyrkogården har samma ålder. Eftersom kyrkan revs så tidigt som 1868, i samband med att en ny byggdes mer centralt i byn, saknas uppgifter eller avbildningar från äldre tid över kyrkogården. 1934 genomfördes en restaurering av kyrkogården på begäran av riksantikvariens ombud i Jönköpings län i syfte att återställa och bevara den. Kyrkogården är i det närmaste kvadratisk i formen men något bredare mot söderr och avsmalnande mot norr. Framförallt den södra halvan av kyrkogården är använd för gravvårdar, i norr finns endast ett fåtal och dessa är främst sekundärt placerade.
På kyrkogården finns två byggnader i form av klockstapeln och Adlerbethska gravkoret. Klockstapeln uppfördes 1995. Adlerbethskagravkoret består egentligen av två gravkor: det Falkman-Bethska och det Adelbethska där kistor efter avlidna ägare till Ramsjöholms gård förvaras. När kyrkan revs 1869 uppfördes ett stenhus med två rum där kistorna placerades efter att tidigare haft sin plats inne i kyrkan.