À partir de 1701 et pendant vingt ans, Philippe de Rigaud de Vaudreuil, gouverneur de Montréal puis gouverneur de la Nouvelle-France, loue une maison et un terrain à l'angle des rues Saint-Paul et Saint-Charles. Après avoir acheté le tout en 1721, il commence la construction d'une résidence imposante en 1723, probablement selon les plans de l'ingénieur royal, Gaspard-Joseph Chaussegros de Léry. Vaudreuil et sa famille ne l'occupent que brièvement : il est décédé en 1725, et sa veuve, Louise-Elisabeth de Joybert, est passée en France la même année. Jusqu'à la fin du régime français les héritiers de Vaudreuil louent la propriété au Roi, notamment comme résidence du gouverneur à Montréal. Le dernier gouverneur français à occuper les lieux sera Pierre-François de Rigaud de Vaudreuil, fils de Philippe, qui rassemble quelques parcelles en achète d'autres, afin de créer un terrain s'étendant de la rue Saint-Paul à la rue Notre-Dame.

Suite au départ définitif de la famille Vaudreuil en 1763, la propriété a changé de mains deux fois avant de passer à la fabrique de la paroisse Notre-Dame qui en fera un collège pour garçons. Le collège de Montréal (alors appelé collège Saint-Raphaël) s'est installé dans le château de Vaudreuil en 1773 et y reste jusqu'en 1803 lorsqu'un incendie détruit l'édifice. À la recherche d'un espace suffisamment vaste pour installer un nouveau marché public, les juges de paix ont demandé la cession d'une partie du lot désaffecté. Entre-temps la fabrique a cédé la propriété à deux marguilliers, Jean-Baptiste Périnault et Jean-Baptiste Durocher, qui veilleraient à la disposition du terrain. La ville recevra la moitié est pour ouvrir un marché, limité à l'est par la rue Saint-Charles (tracée en 1672), et à l'ouest par une rue qu'on nomme « de la Fabrique ». La moitié ouest est subdivisée par Périnault et Durocher. L'aménagement du site en marché prendra presque cinq ans pendant lesquels les magistrats doivent faire confirmer les titres de propriété et abandonner un projet ambitieux pour la construction d'un halle en pierre. Sur le terre-plein entre les deux rues, on érige des étals de bois pour le « Marché Neuf » en 1808. En 1809, une souscription permet l'érection de la colonne Nelson pour commémorer la victoire de l'amiral Horatio Nelson (1758-1805) à Trafalgar.

Après l'ouverture du marché Bonsecours en 1847, les structures de bois sont démolies, les rues Saint-Charles et de la Fabrique disparaissent et la place Jacques-Cartier prend son nom actuel. Son nom rappelle le navigateur français Jacques Cartier, le premier européen à remonter le fleuve Saint-Laurent jusqu'à Montréal. Dans l'acte de cession de Jean-Baptiste Périnault et Jean-Baptiste Durocher, en 1803, il est spécifié que la place devra toujours garder sa fonction de marché public. Ainsi, bien que les étals du marché soient enlevés, la place sert de marché en plein air jusqu'au milieu du XXe siècle.

Aujourd'hui encore, la ville est tenue de respecter cette clause : un petit kiosque à fleurs permet de nos jours à la ville de rester dans la légalité. Quant à l'ancien hôtel de Vaudreuil, des fouilles archéologiques pendant les années 1990 ont permis d'en cerner les contours exacts. Un pavage noir met en évidence l'emprise au sol de cette ancienne résidence des gouverneurs français. À l'automne 1997, la place Jacques-Cartier fait l'objet de grands travaux d'aménagement sous la responsabilité et la conception de Robert Desjardins du Service des parcs, jardins et espaces verts de la Ville de Montréal.