Le château de Grizac aurait été bâti, au, par Guillaume de Grimoard dont le statut de chevalier-paysan lui autorisait une telle construction. Quelques années plus tard, y naîtra son fils, prénommé lui aussi Guillaume, le futur pape Urbain V (en 1310).
Le 21 décembre 1984 le donjon et le logis (les parties restantes du château), ont été classées monument historique, et l'ensemble des dépendances et bâtiments de ferme a été inscrit.