Plus haut donjon de France grâce à ses 52 mètres, la Tour de Crest est la gardienne d’une des rares portes des Pré-alpes drômoises. Sa construction commence au XII^e siècle. Elle est à l’origine la composante majeure d’une vaste forteresse qui domine la ville. Tout au long du Moyen-Age, la Tour est au cœur des luttes entre deux seigneurs qui se disputent sa possession (les comtes de Diois et du Valentinois).
À partir de 1419, elle devient propriété des Rois de France, qui la concèdent à différentes familles dont les Grimaldi, princes de Monaco. Soucieux de l’importance de la forteresse, Louis XIII en ordonne le démantèlement en 1633 et seule la Tour échappe à la destruction. La Tour de Crest sert alors de prison jusqu’au XIX^e siècle et devient propriété nationale à la Révolution. Son entretien étant onéreux, l’État cherche à s’en débarrasser à partir de 1871. La Tour devient alors propriété privée de 1878 à 1988.

Le 10 août 1988, cent ans après son classement au titre de Monument Historique, la Ville de Crest achète la Tour.
Classée Monument Historique par arrêté du 6 juin 1877. Propriété de la commune