Le château au Moyen Âge est une simple forteresse militaire en bois, bénéficiant d’une position stratégique, sur la butte de Chazeron (à côte de Châtelguyon). A la charnière des XIIème et XIIIème siècles, lui sont ajoutés : un donjon roman de trente mètres, une salle d’armes, une basse-cour, quelques corps de logis et un mur étroit fermant l’ensemble. Au XIVème siècle, Oudard V construit une forteresse plus élaborée avec un donjon gothique, deux tours circulaires, des corps de logis enfermant une haute cour et des chemins de rondes.