Семья Его отец, Карл Альбертович Зедергольм (1789—1867) — евангелический пастор и доктор философии. Был уроженцем Финляндии, выпускником Абовского университета. В России пасторскую службу начал в южных районах, затем — в Харькове. С 1833 года — в Москве: был учителем Закона Божия в кадетском корпусе, преподавал в московской медико-хирургической академии, Лазаревском институте; заведовал лютеранскими обществами в Туле, Твери, Орле, Калуге, Москве. За вольнодумные проповеди, не совпадающие с протестантским учением, неоднократно отстранялся от должности с запретом проповедовать и преподавать в воспитательных учреждениях. Он — автор ряда сочинений: «Учебная книга латинского языка» (1834), «Карманная книга географии» (1835), «Практическая немецкая грамматика для русских и немцев» (1835), «Ксенофонт. Поход Кира-младшего» (1840), «История древней философии» (1841).
В семье было несколько сыновей: старший, Альберт Карлович, стал генералом; младший, Максимилан (Максим) Карлович, перешёл в православие в 1858 году, в отличие от ещё одного, старшего брата, служившего в Тамбове инспектором врачебной управы.
