En 1785 le collège Saint-Raphaël, l'ancêtre du collège de Montréal, est installé dans l'ancien Château Vaudreuil (site actuel de la place Jacques-Cartier) depuis douze ans. Sous la direction de son fondateur, le sulpicien Jean-Baptiste Curatteau, on y enseigne le français, le latin, la rhétorique, les humanités, la versification et les mathématiques. L'intérieur du bâtiment comprend une bibliothèque (formée de 1 200 livres provenant de Curatteau, du sulpicien Gabriel Brassier et des jésuites, lors de leur départ après la Conquête), des salles de classes et d'étude, une grande salle de récréation, une chapelle, et des dortoirs à l'étage supérieur. Les écoliers peuvent prendre leur récréation dans le « fort beau jardin » entouré de murailles qui s'étend derrière l'immeuble jusqu'à la rue Notre-Dame.

Au moment de sa fondation en 1767, le collège était installé dans le presbytère de la paroisse de Longue-Pointe alors desservie par Curatteau. Ce dernier, qui avait enseigné dans les petites écoles que dirigeaient les sulpiciens en face de leur séminaire, a ouvert son école d'enseignement secondaire afin de combler un besoin pressant : jusqu'à ce moment, tout enfant de Montréal qui souhaitait poursuivre des études avancées devait le faire au séminaire de Québec. Après deux ans de fonctionnement, l'école comptait deux régents et 31 pensionnaires mais son éloignement de Montréal posait toujours problème. Finalement, en 1773 la fabrique de la paroisse Notre-Dame de Montréal achetait le terrain et l'immeuble de l'ancien Château Vaudreuil afin de permettre le déplacement du collège Saint-Raphaël au centre de la ville.

Curatteau démissionnera de la direction du collège en 1789, mais lors de son décès un an plus tard, il léguera tous ses biens à l'institution qu'il avait fondée. Le collège restera dans cet immeuble jusqu'à ce qu'il soit détruit par un incendie en 1803. En attendant la construction d'un nouveau collège (qui portera le nom de Petit Séminaire) à l'extérieur des confins de la vieille ville, les écoliers et les régents s'entasseront dans l'immeuble du Vieux Séminaire pendant trois ans.