Comme son nom l'indique, le village fait parti des "castelnaux", agglomérations construites par des seigneurs dans la dépendance de leur château, il fut construit vers 1222. Des six portes ouvertes dans les remparts, il n'en reste que trois aujourd'hui ; quant au château érigé au XIIIe siècle, il fut détruit pendant la révolution. Cependant, la promenade à l'intérieur de l'enceinte est charmante.