Bakkehusmuseet er indrettet i Frederiksbergs ældste bygning, Bakkehuset, som stammer fra 1620'erne. Det har fået sit navn fordi det ligger på en bakke. Det var en firlænget gård, som igennem tiden fik mange funktioner: landevejskro, åndssvageanstalt (åndssvageanstalten Gamle Bakkehus, hvis beboerne i 1890 blev flyttet til den nyindkøbte Ebberødgård), børneasyl og funktionærbolig.

Museet kaldes også de Rahbekske Mindestuer efter Knud Lyne Rahbek, der boede som fast gæst på kroen i perioden 1787 indtil 1802, hvorefter han købte stedet og havde det til sin død i 1830. I Bakkehuset holdt hans hustru, Kamma Rahbek, salon i den danske guldalder. Siden har bl.a. Johan Ludvig og Johanne Luise Heiberg, Troels Lund og N.F.S. Grundtvig boet derude om sommeren.

Bakkehusmuseet åbnede i 1925 under navnet De Rahbekske Mindestuer med støtte fra både offentlig og privat side. Siden udvidedes museet med mindestuer for digterne Johannes Ewald og Adam Oehlenschläger. I 2002 åbnede museet en ny fløj, hvor Rahbekkernes køkken er rekonstrueret. Dertil kommer museets bibliotek samt to rum, der anvendes til skiftende udstillinger. Bygningen er i dag ejet af Frederiksberg Kommune, og den er omgivet af et offentligt anlæg og en privat museumshave.