Hov betyder gudahus och antyder att här har funnits en hednisk kultplats. I Torsåker är den förknippade med guden Tor. Han var åskans gud, fruktbarhetsgud och böndernas beskyddare. Under förkristen tid var kultplatsen även ett regionalt politiskt och administrativt maktcentrum styrt av en hövding med en central funktion i bloten. Platsens centrala läge under tidig medletid tydliggörs av att här uppfördes två kyrkor. Torsåkers kyrka och Styrnäs kyrka, med endast ett par kilometers avstånd från varandra.
Torsåkers kyrka är sannolikt helgad åt Sankt Olof. Socknen onämns i de två äldsta kyrkliga uppbördslängderna från 1300-talets början. Byggnaden hade i sitt äldsta skede på 1200-talet, en romansk utformning, som bestod av långhus och ett lägre rakslutet kor. Under 1400-talet utvidgades koret och kyrkan förlängdes åt väster. Vid samma tid utrustades kyrkan med två stjärnvalv av tegel. En kort tid därefter försågs valv och väggar med kalkmålningar. Kyrkomålaren är okänd. Förlagorna fann man i den rikt illustrerade bildbibeln Biblia Pauperum (de fattigas bibel) och helgonlegenderna. Växtornamentikens mönster hämtades ur gotikens formvärld.
Till kyrkans äldsta inredning hör flera medeltida träskulpturer. En av dem är madonnaskulpturen från sent 1200-tal.
Den 1 juni år 1675 utspelade sig ett ohyggligt drama i denna kyrka. Efter det att en straffpredikan hållits mottog 71 dödsdömda den sista nattvarden. De var alla anklagade för häxeri och trolldom. På avrättningsplatsen väntade två bödlar, stupstockar och bål. När allt var över hade var femte kvinna i Torsåker avrättats.