A l’origine " Castanet d’Escarts " fût le lieu d’une très ancienne occupation humaine. Des burins, éclats, grattoirs retrouvés sur un site magdalénien l’attestent. Les (( Pierres Levées )) connues à Cambayrac prouvent l’occupation à l’époque du Néolithique.
Le sarcophage
Le Haut Moyen-Age nous a légué plusieurs sarcophages, dont un visible près de l’église de Castanet. Ils ont été découverts à l’emplacement de l’actuel café Castagné avec d’autres vestiges, le tout étant situé près de l’ancien fort. Dès le XII e siècle la famille De Castanet possédait la seigneurie...
La chapelle
A Cambayrac se trouve un château entouré d’un ensemble de bâtiments remarquables : pigeonnier, ferme de caractère... Ce lieu, d’abord dépendant de la seigneurie de Castanet revint au XV e siècle à François Hilaire d’Armagnac seigneur de Cambayrac. Dans ce village se dresse une élégante chapelle. Elle est une annexe de l’église de Castanet et est entourée d’un petit cimetière. En 1808 la commune est rattachée au Tarn-et-Garonne qui vient d’être créé par Napoléon.
L'Eglise du Cuzoul
La commune de 2200 ha comprend aujourd’hui deux paroisses : Castanet et son annexe de Cambayrac et le Cuzoul. Dans ce village, se trouvent les restes d’une église rebâtie au XV e siècle. L’église actuelle date, elle du siècle dernier. L’église de Castanet est dédiée à Saint-Martin dont la statue en bois domine la nef. Cette église domine le village installé, pour l’essentiel en contrebas. La commune ne dispose pas de monuments prestigieux témoins de son histoire mais de très nombreux éléments de petit patrimoine agrémentant les nombreuses routes et chemins qui sillonnent son territoire.
