La Bagatelle est la possession de la famille Brignol au XVIIIe siècle, puis du négociant en coton Edward Naegely au XIXe siècle, le domaine de Bagatelle appartient ensuite au tuillier et céramiste Pierre Virabian.
En 1938, le château est loué au consul général d'Allemagne, tandis que la propriété mitoyenne abrite celui des Etats-Unis. En 1939, il est réquisitionné par la Marine Nationale pour loger l'amiral Muselier. En novembre 1943, il est occupé par l'armée allemande. Acquis par l'Etat en 1972 pour le compte de la Marine Nationale, Bagatelle devient mairie du 4e secteur (VIe et VIIIe arrondissements) par suite de la loi PLM du 31.12.1982.
L'été, son magnifique parc reçoit des concerts musicaux. Le Parc dispose d'un espace de verdure et d'un espace de jeux pour les enfants.