Le domaine de Prulay remonte aux origines mêmes de la famille de Prulay, qui apparaît dès 1170, et qui en conservera la possession jusqu'au 18e siècle. Le domaine s'étend alors sur plus de 100 ha, avec château, fermes et moulins. En 1774, l'ensemble est vendu à Pierre-Isaac Poissonnier, conseiller d'Etat et médecin de Louis XVI. Celui-ci fit entièrement reconstruire le château dans un style néo-classique et engagea des artistes de qualité pour les décors intérieurs.

Vers 1804, le paysagiste Berthault aménagea le parc de Prulay en créant autour du château une vaste composition à l'anglaise mêlant allées sinueuses, fabriques et sculptures, vacherie (sorte d'attraction pittoresque) attenante à une chapelle avec un décor Directoire, et pavillon de bains.

Le château a reçu en 1857 un rhabillage général en brique apportant un aspect austère à l'édifice. Il conserve cependant sa silhouette générale comme le montre la comparaison entre la gravure de Constant Bourgeois de 1812 et l'aspect actuel. Seul le portique placé sur la travée centrale a disparu. Le château conserve encore quelques éléments de décor intéressants : salle de billard présentant des paysages dans un décor Empire typique ; salle-à-manger plus à la manière du 18e siècle ; l'escalier et la bibliothèque, toujours dans le style Empire. Le château comprend un corps de ferme longitudinal de la fin du 18e siècle et une orangerie, construite vers le milieu du 19e siècle. Le moulin de Prulay, cité dès 1702 et modifié à la fin du 18e siècle, a néanmoins conservé des éléments de décor sur son élévation principale.

Le parc de Prulay en 1812 - gravures de Constant Bourgeois pour la "Description des nouveaux jardins de la France ... " d'A. de Laborde