On trouve de la roche sédimentaire en abondance sous les dépôts meubles de l’île de Montréal et de l’île Jésus (Laval). Il s’agit généralement de calcaire formé au fond d’anciennes mers chaudes par la compression et la solidification de boue riche en carbonate et de sable composé de fragments de fossiles. Selon les caractéristiques propres à chaque lit de calcaire, la cristallinité par exemple, la pierre peut être apte à la taille, ou non. C’est le calcaire anciennement exploité pour la pierre de taille que l’on qualifie de « pierre grise de Montréal ». Certains calcaires servaient plutôt à la production de chaux. Quel que soit le type, on pouvait toujours en faire des moellons, c’est-à-dire des pierres de construction brutes ou équarries, de petite ou de moyenne taille.

Aujourd’hui plus aucune carrière de l’île de Montréal ou de l’île Jésus n’est exploitée pour la pierre de construction. Les plus anciennes carrières sont disparues, remblayées, les sites ayant souvent servi à l’aménagement de parcs. De plus, les documents n’indiquent habituellement pas la provenance de la pierre utilisée pour un immeuble donné. Il est toutefois possible de présumer cette provenance en croisant les données historiques et géologiques.

Deux bâtiments toujours en place dans le Vieux-Montréal ont été construits vers 1700. Leurs murs de moellon sont principalement composés de pierres des champs, c’est-à-dire des cailloux de divers types tirés du sol meuble. On y voit aussi des moellons de calcaire provenant probablement de petites carrières qu'on pouvait exploiter dans le pourtour du mont Royal. La pierre des éléments taillés, comme les encadrements des ouvertures, pouvait en provenir également. Le calcaire de la formation géologique de Tétreauville que l’on trouve autour du mont Royal n’est pas apte à la taille, mais il peut contenir de rares lits très particuliers qui le sont. Les vestiges des fortifications et les murs des bâtiments construits plus tard au XVIIIe siècle sont constitués pour l’essentiel de moellons de calcaire provenant probablement encore du pourtour de la montagne, ou des plateaux adjacents. Il est possible qu'on ait ouvert des carrières, tôt dans le siècle, dans le secteur de l’actuelle intersection des boulevards Saint-Laurent et Saint-Joseph (encore longtemps exploitées au siècle suivant); le calcaire de la formation géologique dite de Montréal y offrait sans doute plus de lits de pierre apte à la taille.

Au XIXe siècle, on exploite plusieurs carrières situées un peu plus au nord-est, dans le secteur des actuelles rues Saint-Grégoire et des Carrières, entre les rues Berri et Papineau – un secteur traversé par une voie ferrée dans les années 1870; les parcs Sir-Wilfrid-Laurier et Père-Marquette y sont aménagés sur d’anciennes carrières remblayées. Les carrières de se secteur ont fourni du calcaire de la formation de Montréal (la plus proche de la surface du sol), de la formation de Deschambault (la plus apte à la taille) et de la formation de Mile End (plus en profondeur). La majeure partie de la pierre grise de Montréal utilisée entre 1800 et 1880 provient de ces carrières.

Après 1880, de nombreuses carrières exploitées ailleurs dans l’île de Montréal – à Côte-Saint-Michel, Villeray, Cartierville – et dans l’île Jésus, prennent de l’importance au point de supplanter complètement celles du secteur Saint-Grégoire–des Carrières pour la pierre de construction.

Au cours des années 1920, on construit encore dans le Vieux-Montréal des bâtiments en pierre grise de Montréal provenant de carrières de l’île de Montréal et de l’île Jésus, mais on utilise aussi du calcaire de l’Indiana, du calcaire de Queenston (péninsule du Niagara), et de Saint-Marc-des-Carrières (près de Deschambault, non loin de Québec). Au tournant du XXIe siècle, la « pierre de Saint-Marc », est devenue dans le Vieux-Montréal le substitut quasi exclusif de la pierre grise de Montréal.

Les calcaires de différentes formations géologiques (Tétreauville, Montréal, Deschambault, Mile-End) que l’on trouvait dans le pourtour de la montagne, dans le secteur Saint-Grégoire–des Carrières, et à Côte-Saint-Michel, font tous partie du large groupe géologique de Trenton. Les calcaires de Villeray, de Cartierville et de l’île Jésus, font partie du groupe de Chazy. Le calcaire de Saint-Marc-des-Carrières, meilleur substitut actuel, fait partie de la formation de Deschambault dans le groupe de Trenton. Une analyse de la composition lithologique de la pierre des bâtiments du Vieux-Montréal et des recherches supplémentaires sur les carrières permettraient de mieux relier les connaissances géologiques, lithologiques et historiques.