En 1693, les Sulpiciens, seigneurs de l'île de Montréal, font l'acquisition d'un terrain au nord de l'église Notre-Dame dans le but d'en faire une place publique qu'on appellera « place de la fabrique ». Il s'agit de la seconde place publique à Montréal, la première étant la place Royale actuelle, qui servait, depuis 1676, de place du marché et de place d'armes. Située en un lieu privilégié de la haute-ville, la nouvelle place devient rapidement un lieu de rencontre et de socialisation où se fait, à la sortie de l'église, la lecture des décrets et ordonnances. Suite aux réaménagements provoqués par l'incendie dévastateur de 1721 autour de la place Royale, on déplace le site des manoeuvres militaires sur la « place de la fabrique », agrandie par l'occupation de lots situés sur la moitié nord de la place actuelle. C'est à ce moment que le lieu prend son nom actuel de place d'Armes. C'est là qu'en septembre 1760, les régiments français déposeront leurs armes en présence des principaux officiers anglais.

On installe en 1770 au milieu de la place une citerne et une pompe à incendie. Trois ans plus tard, les résidants de la ville y installent le premier monument érigé à Montréal, un buste de George III, roi d'Angleterre. En 1775, avant l'occupation américaine, des inconnus barbouillent la statue de noir et lui passent autour du cou un collier de pommes de terre avec une croix portant l'inscription « Voilà le pape du Canada et le sot anglais ». Par la suite, le buste disparaît. Il sera retrouvé plusieurs décennies plus tard dans l'ancien puits. Ce buste est conservé au musée McCord. De 1781 à 1813, la place d'Armes, est aussi utilisée comme marché à foin et à bois. En 1813, pendant la Guerre de 1812, les activités commerciales sont déplacées au nouveau marché à foin (square Victoria) et la place d'Armes retrouve sa fonction militaire. Au XIXe siècle, la place d'Armes est le témoin d'événements violents. En 1832, trois Canadiens sont tués par l'armée britannique, lors d'un affrontement entre les partisans de candidats adverses pendant les élections partielles du quartier Ouest. En 1837, ce sont les Fils de la Liberté et les membres du Doric Club qui en viennent aux prises et l'armée doit intervenir.

En 1836, la Ville achète de la Fabrique le terrain de l'ancienne église paroissiale. On redresse alors la rue Notre-Dame ce qui permet l'aménagement, vers 1848-1850, de la place en jardin public, à la manière d'un square victorien, avec des portails de pierres et des grilles de fer forgé. Au centre, on installe une haute fontaine.

En 1895, la fontaine est remplacée par un monument à la mémoire de Paul Chomedey de Maisonneuve. Sculpté par Louis-Philippe Hébert, il présente de Maisonneuve entouré de Jeanne Mance, Charles Lemoyne, Lambert Closse, et d'un Iroquois.

Au début du XXe siècle, on enlève les clôtures du square puis, en 1914, le jardin est complètement éliminé et remplacé par du béton et de la pierre. Dans les années 1920, la place d'Armes est devenue une plaque tournante du réseau de tramways, entre l'est et l'ouest de la ville; en 1931, le maire Camillien Houde fait construire des vespasiennes en sous-sol.

D'importants travaux de réaménagement ont lieu en 1960; les vespasiennes, intégrées à l'aménagement, ne seront toutefois fermées que 20 ans plus tard (des auteurs ont écrit qu'elles l'avaient été dès 1960, une erreur reprise dans ce site Web pendant un certain temps).

Depuis 2002, la place d'Armes et son environnement bâti sont mis en valeur par des éclairages architecturaux réalisés dans le cadre du Plan lumière du Vieux-Montréal. La Ville de Montréal a également procédé au réaménagement de la place entre 2009 et 2012 afin de rehausser son caractère prestigieux et emblématique.

La place d'Armes est depuis longtemps un haut-lieu de rassemblements, en lien étroit avec l'église Notre-Dame voisine. La kermesse de 1884, les carnavals d'hiver de 1885 et 1887, la visite du pape Jean-Paul ll en 1984, le mariage de Céline Dion et les obsèques de Maurice Richard en 2000, s'y sont déroulés en plus de la cérémonie annuelle de commémoration de la fondation de la ville.