Surplombant le Lot, il est bâti vers 1865 sur un piton rocheux et au cœur du village, près de l'église, par l'Intendant général, Étienne Pagès, Inspecteur des Armées sous le Second Empire, gouverneur des États Pontificaux, que le pape Pie IX, et l'Empereur Napoléon III, honorent de leur confiance. Il est inhumé dans la chapelle de sa tante, Mme Carrié, au cimetière d'Albas.