Oli abielus Edith Hendriksoniga ([[1914]] - [[1940]]) ja Melanie Kukega (alates [[1940]]).
Tema abikaasa {{kas|langes sõltuvusse}} [[Alfred Lepp|Alfred Lepast]] <ref>[http://paber.ekspress.ee/arhiiv/1999/8/Aosa/Ajalugu.html Evar Saar, "Skandaalse pastori värvikas elu", Eesti Ekspress, 25.02.1999]</ref> ja kui Hugo Bernhard Rahamägi tahtis seepärast oma abielu lahutada, vabastati ta piiskopiametist. Hiljem abiellus ta eelmise piiskopi [[Jakob Kukk|Jakob Kuke]] lese Melanie Kukega.
