Ludvig Phister forlovede sig med Adam Oehlenschlägers datter Charlotte i 1831, og trods svigerfamiliens modvilje blev de gift den 14. november 1832. Hustruen Charlotte døde i 1835 efter at have født to børn, og i 1839 giftede Phister sig med Christiane Holst. Efter hendes død i 1846 giftede Phister sig med skuespilleren Louise Petersen i 1849.
Ludvig Phister startede sin karriere som balletelev ved Det Kongelige Teater, hvor han også debuterede som skuespiller i 1825. Hans betydning som skuespiller ligger inden for komiske roller som fx Henrik og Oldfux i Ludvig Holbergs komedier.

Sidst opdateret 16.12.2015