Construit au XIVe siècle par Gilles de Potelle, le château a conservé son architecture militaire médiévale.
En 1490, le fief est cédé à Jean De Carondelet. Cinq siècles plus tard, Potelle appartient toujours à la même famille : les Fremin du Sartel
Ce château supporta les nombreux incendies du, notamment, aux armées de Louis XI ou de Louis XIV
Aux XVIe siècles des modifications furent apportées : galerie rajourtée dans la cour, installation de toitures...