Datter af Rudolph Rasmus Martin Graae og Dorothea Caroline Margrethe Bahn. Adopteret af ægteparret Oluf og Else Philipsen. Ved folketællingen 1906 bor Lydia Graae i ægteparrets just opførte villa i Måløv. Hun angives som: "Plejebarn". Ved en folketælling i 1911 angives hun som Lydia Philipsen, "datter" og man vil umiddelbart tro at der er tale om en adoption. Til gengæld er hun ved folketællingen 1916 angivet som "ung Pige" og så er man ikke længere sikker. Ved Folketællingen 1921 hedder hun: Lydia Isabella Philipsen og angives som datter. Hendes profession er da lærerinde. I 1922 er hun bosiddende i Nordre Frihavnsgade 104, 1. (København Ø) hos Larsen.