Le nom de cette localité était celui d'une vicomté qui forma pendant des siècles un véritable petit Etat souverain. De ce passé subsiste, dans la ville haute, les vestiges des trois enceintes et un donjon carré qui protégeaient le château. Celui-ci fut d'ailleurs démantelé au moment du rattachement de la vicomté à la Couronne de France, et il n'en reste que deux tours, dont l'une, la tour de César, date du XIIIe siècle.