Fut à l'époque, l'hôtel particulier de son père (Jean-Baptiste), où Jean-François-Marie et sa sœur Jeanne vécurent de 1783 à 1785. Il a appartenu à la famille jusqu'à au moins 1792, puisque Barthelemy Nicolas Max de l'Horme, le second fils de Jeanne y est né le 05 décembre 1792.