Navnet ”Bakkehuset” henviser til husets beliggenhed på Valby Bakke. Det nuværende Bakkehus er ikke det første Bakkehus på stedet. Det første Bakkehus kan dateres tilbage til Christian 4., der i 1620’erne lod 3 såkaldte ”vangehuse” opføre, dvs. en slags røgtergårde til Københavns Slots Ladegård. Et af dem var placeret på Valby Bakke og fik navnet Bakkehuset. Ladegården havde de jorder, der tilhørte slottet, uden for byen.
Det første Bakkehus nedbrændte under den dansk-svenske krig 1658-1660. Et nyt Bakkehus, dvs. det nuværende Bakkehus, blev opført på grunden i 1674, og det betragtes i dag som Frederiksbergs ældste hus. I 1800-tallet var Bakkehuset en fritliggende, firlænget gård, men omkring 1860 blev nord- og vestfløjen revet ned, sådan at der i dag kun er syd- og østfløjen tilbage.
Indtil 1776 gik landevejen mellem Roskilde og København forbi Bakkehuset, og huset fungerede derfor i mange år som landevejskro og traktørsted. I 1722 blev kroen kgl. privilegeret, dvs. at man kunne sælge hjemmebrygget øl og brændevin. I 1756 blev Bakkehuset og de nærliggende jorde købt af den daværende statsminister og lensgreve til Ledreborg Slot Johan Ludvig Holstein. Holstein ønskede at anlægge et lyststed med have på grunden (det senere Ny Bakkehus), så han kunne bo i nærheden af kongens lystslot på Frederiksberg. Holstein startede anlæggelsen af en barokhave omkring huset, men det er ikke sandsynligt, at haven nogensinde blev færdig. Holstein døde i 1763, hvorefter Johan Christian Conradi købte og færdiggjorde Ny Bakkehus. Han fortsatte også krodriften i det gamle Bakkehus, indtil Roskildevejen blev omlagt i 1776. Conradi gik siden fallit, og fra 1780 blev Bakkehuset udlejet som sommerbolig og lejlighed.
Sammen med flere andre unge studenter lejede forfatteren Knud Lyne Rahbek sig ind i Bakkehuset om sommeren fra 1786. Fra 1787 valgte han at bosætte sig i Bakkehuset hele året som fast lejer. Da han i 1798 giftede sig med Karen Magrethe Heger, kaldet Kamma, flyttede hun ind i hans lejlighed. I 1802 købte parret hele den firlængede gård. De bosatte sig kun i østfløjens underetage, og de resterende værelser blev lejet ud. Allerede dengang var huset forfaldent. Hvilket fremgår af Kamma Rahbeks breve.
Efter Rahbekkernes tid fortsatte Bakkehuset med at blive lejet ud til sommergæster. Huset blev i 1831 solgt til Leo Hamm, der istandsætte huset og ombyggede især øst- og vestfløjen.
I 1855 blev huset købt af Comiteen til Oprettelse af Helbredelsesanstalt for idiotiske, svagtsindige og epileptiske Børn. Bakkehuset blev således indrettet som asyl til 20 børn. Pladsen blev imidlertid hurtigt for trang, og derfor opførte man naboejendommen, Rahbeks Allé 21, i 1859-1860. Den nye ejendom blev tegnet af arkitekten Ferdinand Meldahl.
Bakkehusets to tilbageværende fløje var omkring år 1900 i fare for at blive revet ned, men en litterær udstilling reddede i 1903 huset, og de Rahbekske Mindestuer åbnede som museum i husets østfløj i 1925.