Peter Petersen blev født på Als og blev uddannet til gartner ved Augustenborg Slot i årene 1773-76. Omkring 1782 begyndte han at arbejde som garnter under gartner- og slotsforvalter F.C. Schmidt ved Frederiksberg Have, og da Schmidts helbred blev dårligere i årene derefter, endte man med at splitte hans stilling op i to. Schmidt fik således titel af generalinspektør for de kongelige haveplantager, mens Peter Petersen alene blev gartner for Søndermarken og Frederiksberg Have. Petersen arbejdede dermed ved begge de kongelige haver, da de blev omlagt fra barokhaver til romantiske landskabshaver.
Som slotsgartner havde Petersen kontakt med Adam Oehlenschlägers familie, idet J.C. Oehlenschläger var slotsforvalterfuldmægtig ved Frederiksberg Slot.
Petersen giftede sig Maren Weidemann (1763-1815) samme år, som han udnævntes til slotsgartner, og de fik ni børn, hvoraf de syv overlevede.
Det er uvist, hvornår Kamma Rahbek begyndte at omgås familien Petersen, ligesom man heller ikke ved, om Peter og Maren Petersen ofte kom hos Rahbeks på Bakkehuset. Petersen rådede imidlertid over hest og vogn, som Rahbeks af og til lånte.
Petersens tre yngste døtre, Rasmine, Gusta og Rikke og er de såkaldte “Blomsterpiger”, som havde deres hyppige gang hos Kamma og Knud Lyne Rahbek. Foruden at brevveksle med Kamma Rahbek malede de sammen, og Gusta (Augusta Petersen) deltog i Kammas æskemageri.
Dreyer, Kirsten: Alle blomsters kærlige veninde. Kamma Rahbek og hendes botaniske vennekreds, København 2013, 66-69