Nuvarande kyrkobyggnad tillkom under 1300-talet och har sin ursprungliga storlek med undantag av vapenhuset som byggdes omkring 1500. I anslutning till kyrkomuren byggdes år 1807 en timrad byggnad som tidigare används som visnings- och kistförvaringslokal och nu inrymmer en handikappanpassad toalett med skötbord. Där finns även ett mindre samlings-/väntrum. Den nuvarande klockstapelns ålder är okänd men torde vara Dalarnas äldsta och fanns redan i början av 1500-talet. På gamla tiders överfyllda kyrkogårdar uppstod problem med ben när gravarna skulle återupplåtas. Detta problem löstes med s.k. benkammare där benen förvarades. 1735 uppfördes en benkammare på den västra delen av kyrkogården. Denna kammare revs 1816 och kvarlevorna begravdes på den plats där kammaren stått.
År 1854 utvidgades kyrkogården mot norr. Utvidgningen skulle ske med 24 alnars bredd, parallellt med den gamla muren och den östra murens norra del. Hur kyrkogårdens gravplatser varit placerade före mitten av 1800-talet finns det få uppgifter om.
Även på landsbygden har personer ur det högre skiktet begravts i kyrkan. När denna sed började i Torsångs kyrka, Torsångs kyrkogård och Torsångs griftegård är oklart. Det Crusebjörnska gravkoret, i kyrkans norra del, har brukats som begravningsplats från slutet av 1600-talet och fram till 1800-talets början. År 1805 skedde den sista begravningen i Crusebjörnska koret, trots beslut från år 1764 och 1774 om att inga begravningar eller gravöppningar fick ske i kyrkan.
