Construit entre 1910 et 1912, selon les plans du bureau d’architectes Viau et Venne, le pavillon Sainte-Croix est, à l’origine, un bâtiment en brique avec soubassement en pierre, s’élevant sur trois étages et mesurant 14 mètres de largeur sur 18 mètres de profondeur. Les deux premiers étages sont destinés à loger sept ou huit religieux de la congrégation de Sainte-Croix et le troisième est destiné aux Petites Sœurs de la Sainte-Famille, qui s’occupent des tâches domestiques.
La renommée de l’Oratoire augmentant rapidement, le bâtiment est agrandi en 1928-1929. On double sa superficie vers l’ouest. Lors de l’agrandissement, le bâtiment perd son parement d’origine au profit de la pierre de taille, pour une meilleure intégration visuelle à la crypte, et ses éléments ornementaux tels que les couronnements, le porche, la terrasse et la logette. Le nouveau bâtiment présente peu d’ornement, s’inscrivant dans la tradition monastique.
Le pavillon sur la montagne s’intègre à son environnement par le choix de son matériau de revêtement et son volume. Son parement en pierre de taille le met en continuité avec le sanctuaire, d’autant plus que sa hauteur est la même que celle de la crypte. À l’origine, la terrasse au-dessus du porche d’entrée et la logette située sur l’élévation latérale droite permettaient aux occupants de profiter de la magnifique vue que l’emplacement à flanc de montagne offrait sur le nord de la ville. À la suite des travaux d’agrandissement, ces lieux d’observation ont toutefois été supprimés.
