La forteresse, depuis le Xème siècle, fut le berceau de la plus grande famille du Velay, la famille de Polignac, l'une des plus illustres de l'Histoire de France. Elle pouvait abriter 800 soldats. Avec son système de défense unique et sa position stratégique, la forteresse a joué un rôle majeur. La famille de Polignac, suzeraine dans la région, construisit des remparts le long des falaises (XIIIème siècle). Il ne resta, aujourd'hui, que les ruines et un magnifique donjon carré, restauré au XIXème siècle.