À la demande des consuls de Crest, les religieuses de Saint-Ursule s’installent à Crest au XVIIe siècle. À partir de 1635, les sœurs Ursulines fondent une école de jeunes filles pauvres, jusqu’à ce que Louis XV supprime leur couvent en 1750. Les bâtiments sont alors utilisés pour le Collège de Crest. À la Révolution française, le bâtiment est découpé en lots et vendu comme bien national à des particuliers.
Au niveau architectural, le couvent est une maison de deux étages avec fenêtres à meneaux ; à la maison est attenante une grande terrasse supportée par une galerie de dix arceaux, visibles du bas de la ville. Le petit corps de bâtiment traversant la rue servait à relier le Couvent à la tribune de la chapelle. Sa porte est encadrée de deux colonnes engagées à chapiteaux ioniens et ornée de corniches et de frises, datant de 1640.