Ville médiévale prospère dominée par le château des vicomtes, le plus puissant de Catalogne. Les habitants de Castellbò, toujours fidèles à leurs seigneurs, furent les auteurs de la lapidation de l'inquisiteur Pere de Cadireta, raison pour laquelle ils gagnèrent le surnom de matasants, déjà recueilli par Francisco de Zamora à la fin du XVIe siècle. XVIII et qui est toujours en vigueur aujourd'hui.

Il ne reste presque rien du château, il fut démoli en 1513 sur ordre du roi Ferdinand le Catholique. Cependant, la collégiale Santa Maria se dresse au pied de la colline du château, préservant toute sa monumentalité.

A quelques kilomètres à l'est de la ville, les ruines du prieuré hospitalier de Costoja sont cachées au milieu de la forêt. Ces pierres antiques sont les témoins muets de la terrible condamnation posthume que l'Inquisition a prononcée contre les vicomtes Arnau et Ermessenda.

• Arnau de Castellbò:Fils d'une famille de la haute aristocratie pyrénéenne, le vicomte Arnau de Castellbò hérite d'un grave différend avec les évêques d'Urgell qui favorisera son rapprochement avec le catharisme, au point de promouvoir l'établissement d'un diacre dans la ville de Castellbò, vers 1220. Arnau ne vint pas professer activement la foi des Bons Hommes, bien qu'il mourût consolé en 1226.