Situé sur une colline rocheuse stratégique qui domine la vallée de l'Esponne, absolument inattaquable sur trois côtés -seulement vulnérable au nord-ouest-, c'est un château qui remonte à 1034, où le catharisme était absolument enraciné. À partir de ce moment et jusqu’à la croisade, il fut la propriété des seigneurs de Pailhés (qui furent à tout moment aux côtés du comte de Toulouse et de Foix). En 1273, après l’emprisonnement du comte de Foix, le château passe aux mains de la couronne. Au XVIIe siècle, Richelieu ordonne la destruction totale et la démolition du château et de la ville, pour effacer toute trace de l'église cathare et de ses fidèles. Il a été totalement détruit par les habitants des environs, menés par le comte de Foix. Il est actuellement en ruines.