Le Château dit des Remparts, troisième château médiéval de la ville de Trets, a été construit probablement à la fin du XIIème et au début du XIIIème siècle. Il s'agit d'une grande bâtisse en forme de L sur trois étages que les seigneurs successifs ont transformé et remanié à de multiples reprises. Ce grand donjon possédait autefois une toiture plate et était défendu par des crénaux et des mâchicoulis dont on peut encore voir les traces de nos jours (gargouilles, archères, assomoir). Les remparts, au XIVème siècle, viendront s'appuyer contre la construction et ainsi parfaire le système défensif.
La commune de Trets l'a acquis en 1992 et a pu commencer un programme de restauration afin d'effacer les ravages du temps, notamment à cause de l'installation de la gendarmerie pendant soixante-dix ans dans les locaux. Plusieurs salles sont déjà réhabilitées, la Maison de la Culture s'y est installée et propose de nombreuses expositions mais aussi des concerts, des pièces de théâtre. Des manifestations qui pendant la saison estivale sont mises en valeur dans la Cour interieure du Château.
