L’antique castrum de Buxedonis Locus, surplombant une voie romaine qui franchissait la Bénovie, a joué d’emblée un rôle de sentinelle. Devenu Boisseron au Moyen Âge, il conserve cette fonction de vigie, s’entourant de remparts et de douves.
Il traverse pendant des siècles les turbulences des guerres de religion : village et enceinte sont détruits lors de la croisade des Albigeois (1208-1229) ; mais celle-ci sera entièrement reconstruite, comme le montre au XVIIème siècle un dessin d’A de Rulman (1622), qui met en relief la forme presque parfaitement circulaire de l’ouvrage. Sur ce dessin figure également le château, avec donjon et tours d’angles. Les murs sont entourés et protégés par un fossé de 718 mètres, taillé à même la roche.
Malgré les outrages du temps, des guerres et d’une intense urbanisation dès la fin du XIXème siècle, le tracé de l’enceinte médiévale, remparts et douves, dominés par la « Vieille Porte », est encore très visible (rue des Remparts, chemin des Douves). C’est donc un tracé presque complet que l’on peut suivre, même si les murs sont inégalement préservés et les douves en partie comblées et transformées en jardins ou en parkings