Ce sanctuaire a de tout temps lié son sort aux bâtiments qu'il jouxte, maison-Dieu du Chastel d'Autun, sous l'autorité du chapitre cathédral à partir du XIIIe siècle et le vocable du Saint-Esprit puis de saint Antoine, petit séminaire à la veille de la Révolution, grand séminaire au lendemain de celle-ci, caserne de 1906 à 1931 puis à nouveau grand séminaire jusqu'à sa suppression à la fin des années 1960 et enfin maison de retraite diocésaine, actuellement privée.

L'immense chapelle, indépendante de la maison Saint-Antoine, ancien grand Séminaire, a été réaménagée en 1933 par l'architecte Alphonse Guerrin à l'intérieur des murs du XVIIe siècle, dans un style mêlant influences néo-Renaissance et Arts-Déco. Son mobilier (autel et statues principalement) a été modifié lors du passage des lieux du statut de séminaire à celui de maison de retraite.