Namnet Silvberg, som år 1396 skrevs Silfbergheno, innehåller silver och berg, vilket tyder på "bergverk" och "gruvfält". Östra Silvberg är en av Sveriges äldsta silvergruvor, äldre än Sala. Den hade sin storhetstid under 1400- och 1500-talen. En ödekyrkogård vid gruvfältet vittnar om platsen för det medeltida Sankt Nicolai kapell, uppkallat efter detta helgon som brukar avbildas med tre guldklimpar i handen. Kanske kallades kyrkan så för att man hoppades kunna utvinna guld där. År 1636 fann man även guld, för första gången i Sverige. Sankt Nicolai anropas annars främst av sjömän i nöd, och är mycket vanlig på ikoner i den rysk-ortodoxa kyrkan.
Silvberg fick en egen kyrkoherde år 1486. Området till-hörde tidigare Stora Tuna och när gruvbrytningen avtog i slutet av 1500-talet återgick bygden dit och blev en kapellförsamling fram till år 1861 då den på nytt, och ungefär lika länge som tidigare, blev ett eget pastorat i 100 år. Under perioden från 1962 till 2009 bildade Gustafs och Silvbergs församlingar ett gemensamt pastorat.
Kyrkan
En kyrka för hela Silvbergs fjärding i Stora Tuna socken började byggas år 1834 vid Grängshammar, som med sitt järnbruk då var den största tätorten. Bruksdisponenten vid denna tid, kapten Mechanicus Olof Forsgren skänkte platsen på Vårfrukullen som kyrkan uppfördes på och han var dessutom arkitekt för kyrkan tillsammans med Samuel Enander från Överintendentsämbetet i Stockholm. Forsgren ledde själv kyrkbygget i början av 1830-talet och kom att integrera kyrkan i bruksmiljön som han också skapat på platsen. Forsgren använde ett lättillgängligt byggmaterial i kyrkomurarna till Silvbergs kyrka, nämligen slaggflis.