Le château reconstruit en 1840 intègre dans son bâti le probable donjon médiéval.

Au moyen âge, le site, accueillait la population villageoise à l'intérieur des enceintes de son château fort qui s'étendait sur toute la butte, au confluent des rivières Saint-Paul et Ger.

Aujourd'hui, les vestiges mediévaux sont tout à fait visibles en contre-bas du château actuel : muraille de deux mètres de haut, ruines de la tour de guet, de récentes fouilles archéologique ont permis de mettre à jour les fondations de 80 mètres d'enceintes supplémentaires.