Le Château fût à l'origine (fin XVIème Siècle) un pavillon de chasse appartenant, ainsi que la ferme du Breuil (tous deux alors fortifiés), au Prince de LEON, qui était un ROHAN. Au cours de la bataille d'IVRY (Mars 1590), HENRI IV fût blessé. Quelques instants plus tôt, il s'écriait : "Ralliez-vous à mon panache blanc, il vous conduira toujours sur le chemin de l'honneur !". Au retour, fatigué, souffrant de ses blessures, il s'arrêta au Breuil où on lui prodigua les premiers soins durant quelques jours.

Au XVIIème Siècle, on fit agrandir le pavillon de chasse d'une aile. De 1622 à 1642, le Cardinal de RICHELIEU fît détruire (sans passer par Louis "le Juste" treizième du nom) des centaines de châteaux pour affaiblir la révolte des "Grands" et donc affirmer l'autorité royale. Le Breuil, petit à l'époque, fût épargné. Au début du XVIIIème Siècle, on l'agrandit encore en prolongeant l'aile centrale et en la terminant par la Rotonde du grand salon (lors de récents travaux de restauration, on y releva la date de 1729 derrière un des trumeaux du grand salon). Au XIXème Siècle (entre 1829 et 1895) on fît construire la quatrième et dernière partie du Château, reliant l'ancien pavillon de chasse à la ferme. C'est dans cette aile que se trouve la chapelle. Les ROHAN-CHABOT passaient souvent les fêtes d'hiver avec leurs amis, car la maison était bien chauffée. Ils arrivaient du Faubourg Saint Germain en file de cinq ou six calèches, généralement de nuit. La cour était éclairée par des lanternes et toutes les pièces illuminées. Ils étaient alors une vingtaine de personnes à table (dîner à 19 h.). On y parlait beaucoup de chasse à courre, de réunions mondaines, peu de politique (pour ne choquer personne), des progrès de l'industrie, de la nouvelle invention : l'automobile, de l'exposition universelle (1900) et aussi du "voyage" (par l'école de GRIGNON, NEAUPHLE LE CHATEAU, la Bardelle). Les ROHAN-CHABOT donnaient au Château des fêtes somptueuses et organisaient des chasses à courre en forêt de RAMBOUILLET (qui arrivait alors jusqu'au Breuil). Rappelons leur devise héraldique : "Roi ne puis, Prince ne daigne, ROHAN suis". A partir de 1930, la famille de Pierre SAUBERAN s'installe au Breuil - Vie de famille teintée d'un certain puritanisme, aide sociale avant la lettre par Madame Pierre SAUBERAN (Officier de la Légion d'Honneur pour son perpétuel dévouement aux "enfants des autres", aux soldats blessés, aux handicapés ...). En 1967, Gilles SARAZIN - industriel et son épouse, petite nièce de Madame SAUBERAN et descendante d'HENRI IV et Gabrielle D'ESTREE par les femmes, ont le courage de reprendre le Breuil abandonné depuis près de vingt ans. Commencent alors d'importants travaux de restauration, achevés à ce jour.