L’Ermitage de Saint•Ursanne est situé hors les murs, à l'extrémité sud-ouest de l'arête rocheuse où se trouvait le château. On y accède par un escalier partant de la rue de la Cousterie, au nord de la porte St-Paul. Portail de style Renaissance tardive; fronton daté de 1688 abritant une statue de saint Ursanne. L'ermitage proprement dit n'existe plus. Par contre, l'aménagement du mobilier des chapelles réalisé entre le XVIIe et le XIXe siècle constitue un ensemble intéressant du point de vue iconographique. Petit oratoire, sur plan carré, dédié à sainte Odile; statue de la Vierge à l'Enfant, probablement du XVIIIe siècle. Un peu en contrebas de la grotte de saint Ursanne se dresse la chapelle Notre-Dame-de-la-Grotte, simple bâtiment de style gothique tardif, surmonté d'un campanile en bulbe. Reconstruction en 1620/21, à l'emplacement d'une chapelle consacrée à saint Léger mentionnée dès le XIVe siècle. Objets du XVIIe siècle en partie conservés. Croix en pierre de 1816. Dans la grotte, gisant de saint Ursanne, de la fin du XVIIe siècle.

Informations tirées en majeure partie de cet ouvrage : Berthold, Marcel, Arts et monuments. République et Canton du Jura, Ed. Bugra Suisse 1989

Lieu de prière.