Bâtie au XIIème siècle, la forteresse surplombe la petite vallée de la Sormonne. Après la famille des Montcornet, le domaine passa aux mains des Miles de Noyer à la fin du XIIIème siècle avant de devenir la propriété d’Antoine de Croy en 1446 qui le restaura.
Acquis par Charles de Gonzague en 1613, il fut démantelé par le duc d’Aiguillon en 1760. Tombé en ruine il fut baptisé "colysée féodal" par Michelet.