Il fut construit par étapes successives à partir du 12ème jusqu'à la fin du 16ème, puis il fut laissé à l'abandon au 17ème et servit de caserne jusqu'en 1947. La municipalité devint ensuite la propriétaire et le restaura. Après de gros travaux, le château abrite le musée d'Annecy, l' observatoire des lacs alpins, des expositions temporaires et permanentes, et des concerts.
Le palais de l'Isle est une ancienne maison seigneuriale datant de 1132. Au fond d'une cour se trouve une petite chapelle orthodoxe.
Le château actuel est le résultat d'une longue histoire qui va du 12 ème siècle à la première guerre mondiale.
Ce château-fort fut édifié entre le XIIIième et le XVième siècle. C'est une forteresse pentagonale dont le plan s'ordonne autour d'un donjon cylindrique à machicoulis.
Habité par la famille de Sales depuis 1602, le château est bâti sur l'ancien fort de 1060.
Ses origines remontent au XIIIème siècle. Il est construit à l'abri des massifs de la Dent de Cons et de la Sambuy, dominant la petite ville de Faverges à 500 m d'altitude.Un véritable château entièrement rénové.
Construit sur une butte rocheuse par Pierre II de Savoie au XIIIème siècle, il est l'un des rares châteaux savoyards à ne pas être en ruines.