Siège d'une des quatre baronnies du Périgord, cette forteresse primitive a subi de multiples remaniements architecturaux au fil des siècles. Installé sur une butte, au confins du Périgord et de l'Agenais, il domine les champs cultivés, les métairies et les grandes forêts avoisinantes. Il a été le cœur d'une grande exploitation seigneuriale.
Le château fut remanié jusqu'au XIXème s. Une tour carrée crénelée jouxte le bâtiment principal, prolongé par un corps de logis. Les grandes fenêtres et les toits datent de la Renaissance. Les écuries et les communs valent le détour.
Au cœur du Périgord Noir, le Château des Milandes surplombe la rivière Dordogne. C'est le Seigneur François de Caumont qui fit édifier cette demeure en 1489 à la demande de son épouse, Claude de Cardaillac.
Face au château de Beynac dont il fut le rival implacable dans incessants conflits qui émaillent l'histoire du Moyen Age.
Le Château de Fayrac est situé entre le Château des Milandes et le Château de Castelnaud sur la rive sud de la rivière Dordogne.
C'est sans doute depuis le cours de la Dordogne que la forteresse apparaît la plus impressionnante.
Dans la vallée de la Vézère, sur un site sauvage, le château de Commarque fut bâti au XIIème siècle par les abbés de Sarlat pour contrer la puissance des Beynac.