Född 8 mars 1801 i Kristbergs församling. Han var son till kyrkoherden Magnus Ryberg och Sara Catharina Hedberg. Ryberg blev 1821 student vid Uppsala universitet och prästvigdes 11 december 1825
Carl Gustaf gifte sig 1834 med Hedvig Juliana Sundström och paret fick tillsammans 3 barn. Samma år som han gifte sig tillträdde han tjänsten som komminister i Mjölby församling och 1853 blev han kyrkoherde efter sin svärfar Pehr Sundström. 1860 blev han prost och avled i Mjölby 1873 och ligger begravd på Mjölby gamla kyrkogård.