Perché sur son piton rocheux, le château de Baulx, domine le village. Simple tour de guet au XII ème siècle, protégeant la baronnie de Pégairolles, l'ensemble connaît au cours des siècles différents aménagements. Au XIXème siècle il est décrit en ruine. Laissé à l'abandon, le monument couvert de végétation, en partie démoli, est légué à la commune en 1987. Dés lors nait le projet de sauvegarde, des recherches d'archives, des campagnes de fouilles sont réalisées sous le contrôle des monuments historiques.