Ce château est celui de la famille de Selves. Il est construit sur l'emplacement d'un ancien château féodal ayant appartenu à Olivier Le Daim, ministre du roi Louis XI, dans lequel résident les seigneurs de Villiers. Ceux-ci tentent à diverses reprises de prendre le titre de seigneur de Cerny, mais ce privilège leur est contesté. Mécontents, ils obligent les habitants, pendant tout le XVIIIe siècle, à moudre le blé dans leur moulin, alors que ce droit de banalité appartient au comte de La Ferté-Alais qui, en 1748, fait tomber une sentence.