Cette voie existe déjà en 1717 lorsque Gaspard-Joseph Chaussegros de Léry la dessine sur son plan de la Ville de Montréal. La rue relie alors la sortie sud-ouest de la ville à la hauteur de la Petite Rivière, le chemin de Lachine (actuelle rue Wellington), et la bordure du fleuve. Elle facilite ainsi la communication entre la ville, les moulins à vent situés sur la commune de Sainte-Anne, et les établissements de la pointe Saint-Charles, de Lachine et au-delà. Avec le développement d'une première zone portuaire sur la pointe à Callière dès la seconde moitié du XVIIIe (voir la fiche de la rue du Port), cette rue est un des liens entre la ville et le port.

La rue longe la limite ouest des terrains de l'Hôpital général. Fondée à la fin du XVIIe siècle par François Charron de la Barre, la maison de charité est prise en main par Marguerite Dufrost de La Jemmerais, veuve de François d'Youville, en 1747. Mère d'Youville fonde à cet effet la communauté des Soeurs de la Charité, ou soeurs Grises qui donneront par la suite leur nom à la rue. Le nom est en usage au début du XIXe siècle.

Après 1845, donc après le prolongement de la rue McGill qui suit un tracé parallèle à celui des Sœurs-Grises, la rue des Sœurs-Grises se voit complètement détachée de la propriété des sœurs et plus intégrée au quartier Sainte-Anne, en développement depuis le début du siècle. Ce quartier va ensuite s’industrialiser de plus en plus. La rue des Soeurs-Grises deviendra aussi, en quelque sorte, la ruelle de service des grands immeubles qui seront construits rue McGill.