Pendant la Guerre de Cent Ans, c’est à partir du Tertre-Ganne que les batteries de bombardes anglaises ouvraient des brèches dans les remparts. Dans les années 1950, le site n'avait pas l'apparence boisée. Jusqu'à cette époque, c'était une carrière de pierre. Selon la légende, le Tertre-Ganne viendrait de Gannelon, ancien compagnons de Charlemagne, dont la chanson de Roland raconte la traîtrise.
