A sa mort en 1662, les Ormes reviennent à son frère cadet, Henri Pussort, second du nom, puis à la mort de celui-ci à leurs neveux et nièces. Les deux frères érigent la terre en baronnie et en font une paroisse à part entière. De cette époque reste l’aile à droite de la cour, remaniée au XVIIIe siècle.
Le château des Ormes est vendu en 1697 par le duc de Beauvillier, gendre de Colbert, à Charles Chamblain, receveur général des finances de la généralité de Poitiers. En 1720, il revient à Pierre Boutet de Marivatz, premier gentilhomme ordinaire du duc d’Orléans.
En 1729, le château des Ormes est acquis par Marc-Pierre de Voyer de Paulmy d’Argenson, dit le comte d’Argenson (1696-1764), conseiller d’Etat, chancelier du duc d’Orléans et ministre de la Guerre de Louis XV de 1742 à 1757. Grâce à ses conseils avisés et à son amour pour les arts, le Comte entretenait avec le Roi des rapports privilégiés. Ceux-ci ont suscité la jalousie de Madame de Pompadour, maîtresse du roi et elle réussit à mettre en exil aux Ormes en 1757 jusqu’en 1764, où il mourut quelques mois après. Durant cette période, des travaux d’agrandissement, confiés à Pierre Meusnier, ont doté le château de l’aile gauche dite “d’Argenson” et des grands pavillons latéraux au fond de la cour dans un style Rocaille.
Amoureux des arts et de la culture, le Comte fit aménager des appartements pour ses amis parisiens appartenant aux cercles littéraires et intellectuels : philosophes, encyclopédistes, membres de l’Académie des Sciences. Le château des Ormes devient alors un des centres intellectuels du Siècle des Lumières. Parmi les illustres visiteurs, figurent Voltaire, Marmontel, Fontenelle, le Président Hénault, Dom Deschamps, mais aussi le Comte d’Artois, futur Charles x.
Le fils du Comte d’Argenson, Marc-René, dit le Marquis de Voyer, fait appel à Charles de Wailly pour reconstruire le corps central du Château dans un style éclectique. L’architecte compose un bâtiment mêlant influences de la Grèce et de la Rome antique, de la Renaissance et de l’architecture classique du XVIIe siècle. Le marquis de Voyer voulu rivaliser avec son ami le ministre Choiseul, et sa “Pagode” en son domaine de Chanteloup, et fit construire une grande colonne en métal avec escalier hélicoïdal menant à une terrasse au sommet, sur le modèle de la colonne antonine à Rome. L’ensemble devint vétustes et démodé, et le fils du Marquis désargenté et n’étant plus en mesure de l’entretenir, la colonne et la partie centrale du Château furent démolies en 1822.
Ne subsistent que les deux ailes du Château : l’aile Pussort au nord, et l’aile d’Argenson au sud. Le vide central entre les parterres de la cour et le jardin à l’anglais donnant sur la Vienne fut comblé à la fin du XIXe siècle. Gaston-Marie-Marc-Pierre, huitième comte d’Argenson fit édifier le Pavillon central et les terrasses latérales actuelles en harmonie avec les deux pavillons du XVIIIe existant, par Alfred Coulomb. Les travaux d’aménagements intérieurs sont achevés, quant à eux, en 1908.
