A cet emplacement s’élevait autrefois un bel ensemble de bâtiments, construit en 1672 : l’Hôtel de Foix, acquis en 1734 par le Duc de Noailles, Maréchal de France.
C’est dans la chapelle de cet hôtel particulier que le jeune Marquis de La Fayette (1757-1834) épousa, le 11 avril 1774, Marie Adrienne Françoise de Noailles (1759-1807). La Fayette y établit sa résidence principale de 1774 à 1783, tout d’abord durant ses études et son entrée l’école militaire, puis à l’époque de sa participation à la Guerre d’indépendance américaine.
Le 15 février 1779, à son premier retour d’Amérique, c’est entre ces murs que La Fayette reçut la visite de la Reine Marie-Antoinette, venue en personne l’accueillir.