En 1230, Ernaut des Mesnuls pose la première pierre d’un manoir sur le site actuel du château.
Les seigneurs des Mesnuls se dénomment ensuite Jehan Gautier, Robert Duport, Jehan Dumor, Simon de Maintenon (1460), Jehan Niard, Pierre Chapillard (1480).
En 1540, Christophe de Refuge, maître d’hôtel du duc d’Alençon, quatrième fils de Henri II, construit, à l’emplacement du premier manoir, un bâtiment à deux niveaux, avec une aile basse et une poterne à deux tourelles (la poterne actuelle). Il fait creuser les douves.