Byggingen av Det hvite hus startet i 1792 og fullført i 1800, da husets første beboer, president John Adams, flyttet inn. Noen år tidligere hadde Washington D.C. blitt utpekt som hovedstad for den nye amerikanske nasjonen, og i planene for den nye byen inngikk også et “presidentpalass” der USAs øverste leder kunne arbeide og bo sammen med familien.
Det nye presidentpaleet fikk imidlertid ikke stå lenge. Allerede i 1814 brente britiske soldater ned Det hvite hus under den britisk-amerikanske krig. Det sto igjen en rykende ruin som bygningens opprinnelige arkitekt, iren James Hoban, fikk lov til å bygge opp igjen i de neste tre årene.