La famille Ramezay est en deuil en 1725. Claude de Ramezay, gouverneur de Montréal depuis 1704, est décédé le 31 juillet 1724, laissant sa veuve Marie-Charlotte Denys de La Ronde et une nombreuse famille. De leurs 16 enfants, dix ont survécu à leur père, dont le plus jeune âgé de 17 ans. Mais l'année 1725 apporte encore plus de douleur à la famille. Le 27 août, deux des enfants, les jumeaux Charles-Hector, officier, et Marie-Catherine, ursuline, de retour de France, meurent dans le naufrage du Chameau au large de l'île Royale (île du Cap-Breton). Périssant avec eux, le nouvel intendant de la Nouvelle-France, Guillaume de Chazel, à qui Charles-Hector a loué la résidence familiale de la rue Notre-Dame. Bien que le roi accorde une pension annuelle de 1 000 livres à Marie-Charlotte Denys, cette dernière se trouve dans une situation financière précaire qui force la vente ou la location de la résidence familiale. À partir de 1726, deux intendants l'occuperont successivement à titre de locataire et ce jusqu'en 1745.

Officier militaire de carrière, Ramezay est venu au Canada en 1685 alors que la deuxième guerre iroquoise menaçait la colonie. En novembre 1690, il se mariait à Denys de La Ronde, fille d'une des grandes familles de la Nouvelle-France. Depuis 1690, il occupait des postes de plus en plus importants : gouverneur de Trois-Rivières entre 1690 et 1699, puis commandant des troupes canadiennes et finalement gouverneur de Montréal à partir de 1704. Quelques mois après son arrivée en ville il achetait un terrain vacant sur la rue Notre-Dame et au printemps 1705, il engageait le maçon Pierre Couturier pour lui construire une imposante maison de 66 pieds de façade. « Sans contredit la plus belle qui soit en Canada » proclamait son propriétaire.

Gouverneur de Montréal pendant 20 ans, Ramezay avait charge de plusieurs fonctions importantes : défendre la colonie contre les attaques des colonies anglaises au sud, protéger les intérêts français dans la région environnant les Grands Lacs et mettre fin au trafic de contrebande entre Montréal et Albany. Étant donné les ressources restreintes mises à sa disposition, il faisait aussi bien que possible dans des situations difficiles, parfois sans solution immédiate. Pendant son commandement, il ne négligea pas ses propres projets financiers et profita d'occasions qui se présentèrent grâce à son poste. Il s'intéressa au commerce des fourrures, aidant les membres de sa parenté et il chercha à plusieurs reprises des commandes royales afin de rentabiliser un moulin à scie qu'il avait fait construire sur une terre relevant de la seigneurie de Chambly.

Mais Ramezay a davantage été reconnu par l'histoire pour sa rivalité avec le gouverneur Philippe de Rigaud de Vaudreuil. Au tout début de son mandat de gouverneur de Montréal, Ramezay a accusé Vaudreuil d'une série de délits et pour un temps a réussi à compromettre la position de ce dernier à Versailles. Vaudreuil a contourné ses accusations et, à la suite de l'établissement de sa femme à la cour de France en 1709, a discrédité son critique. Bien que les animosités entre l'un et l'autre se soient calmées pendant plusieurs décennies, elles ont resurgi en 1723, occasionnées par leur désaccord public sur un aspect de la politique avec les Iroquois. Alors que la querelle se préparait, Ramezay est décédé.

Les Ramezay continueront à résider à Montréal après 1725, mais ailleurs que dans leur château. Le plus jeune des fils, Jean-Baptiste-Roch, officier militaire, s'établira dans une maison de la place d'Armes qu'il acquerra par héritage de sa femme. Quant à la veuve de Ramezay qui décèdera en 1742 et à sa fille, Françoise-Louise, qui exploitera la scierie familiale et se lancera dans d'autres manufactures, on ignore leur lieu de résidence.