Träkyrkan i Ölsremma byggdes 1663, då klädd med grova bräder. Först lite senare fick kyrkan sin röda spånklädda fasad. På platsen där kyrkan uppfördes fanns en tidigare föregångare.
På 1800-talet byggdes Ölsremma kyrka ut och förlängdes åt öster. Då fick kyrkan också sitt nuvarande tresidiga kor.
Vid renoveringen på 1920-talets slut laserades väggarna i gråvit färg och även dörrar och fönster målades om. Kyrkan fick nya bänkar och predikstolen flyttades från södra till norra väggen. Det södra vapenhuset revs.
Vid denna renovering fick kyrkan också sin altartavla, målad av John Hedaeus. Altaruppsatsen av Arvid Bryth invigdes 1963 vid kyrkans 300-årsjubileum.
Predikstolen utsmyckades på 1950-talet med figurativa målningar.
Dopfunten är från 1200-talet.