Auparavant beaucoup plus étendues, ces terres ont vu leur surface baisser au fil des siècles. Située sur une butte surplombant la vallée, cette ville garde encore les traces de son ancien fort.
À l’origine, cette ville avait pour nom « Castelnou de Bonafos », castelnou signifiant « château neuf » et Bonafos venant du nom de la colline sur laquelle il était bâti. Avec le temps, cela se changea en Castelnau-de-Lévis, du nom de la famille de Gui de Lévis, qui mena la bataille contre les Albigeois avec Simon de Montfort.
Cette terre, qui s’étendait auparavant sur plus 7 500 hectares, appartenait à Raymond VII, qui la céda à son ministre Sicard d’Alaman, à la condition qu’il y bâtisse une forteresse. En effet, vaincu après la Croisade contre les Albigeois, Raymond VII s’était vu retiré le droit de bâtir des fortifications, afin de ne pas concurrencer le roi. Un village est donc construit avec ce château, en 1256.
Légende locale : le souterrain de Castelnau
On dit qu’il aurait existé un souterrain entre Castelnau-de-Lévis et Florentin, en passant sous le Tarn, qui daterait du temps des grands Seigneurs.
