Portier depuis plus de trente ans au Collège Notre-Dame, le frère André, qui voue une dévotion particulière à saint Joseph, voit en 1904 son vœu réalisé : la construction d’une chapelle dédiée au saint patriarche. Située sur le flanc nord du mont Royal, sur un terrain acquis par la congrégation de Sainte-Croix en 1896, la chapelle primitive consiste en un petit édifice en bois d’environ cinq mètres et demi de longueur sur cinq mètres de largeur. Pour l’ériger, un travail de nivellement et de terrassement du sol a été nécessaire, le premier d’une longue série qui a modifié, à jamais, le paysage du mont Royal à cet endroit.
Destinée dans un premier temps à la dévotion privée des membres de la congrégation de Sainte-Croix et de leurs élèves, la chapelle Saint-Joseph devient rapidement, notamment en raison de la popularité du frère André et de la confiance que lui témoigne la population, un lieu prisé de pèlerinage et de dévotion à saint Joseph. L’espace manquant, elle fera l’objet de nombreux agrandissements entre 1908 et 1915, soit jusqu’à l’ouverture du chantier de la crypte-église (BI-09-03).
En 1918, la chapelle est déménagée de son emplacement d’origine vers l’endroit où se trouve actuellement le carillon (BI-09-05), afin de dégager la vue de la crypte. Un second déplacement, vers son emplacement actuel, a lieu en 1954. Entourée de végétation, elle se retrouve alors dans un cadre rappelant davantage celui de son origine. De plus, pour y accéder, le visiteur doit effectuer une ascension, remémorant également les débuts des pèlerinages sur le mont Royal.