Jean-Baptiste Castonguay fait construire ce bâtiment en 1828. Castonguay est propriétaire de l’emplacement, avec un bâtiment en bois, par la donation que lui en a fait sa mère en 1827. Une annonce publiée dans La Minerve en janvier 1829, permet à la fois d’apprendre la construction récente de l’immeuble à louer et de connaître ses fonctions d’origine, commerciale et résidentielle : « deux magasins spacieux avantageusement situés sur le nouveau marché, dans cette nouvelle maison de pierre à deux étages [apparemment un décompte d'étages à l'européenne n'incluant pas le rez-de-chaussée], voisine de Mr. Séraphino Giraldi. Les caves sont séparées et disposées d’une manière convenable pour le commerce de groceries. Le haut de la maison fournit des logemens [sic] propres et convenables pour deux familles ». L’aubergiste Michel Jacques s’y établit en mai 1829. Il y a tout lieu de penser que le rez-de-chaussée n'est pas encore doté de larges vitrines à cette époque.

En 1850-1851, Ferdinand Perrin, marchand de tissus, d’articles de mercerie et d’autres produits (dry goods), acquiert la propriété des héritiers Castonguay en plusieurs transactions. En 1853, dans un bail consenti à un marchand de cuir et de chaussures, il s’engage à effectuer d’importantes modifications. En plus de rénovations intérieures, Perrin engage le maçon Lambert Bleau et le menuisier Eugène Lamoureux pour remodeler la façade du rez-de-chaussée pour les besoins de deux magasins, de grandes vitrines remplaçant sans doute des fenêtres d'origine plus étroites. Une adjonction servant de cuisine et de lieu d’entreposage est aussi ajoutée à l’arrière. Des artisans dont un sellier et un ferblantier ainsi que des marchands, notamment des marchands de chaussures et de fruits et de légumes dont Osias Séguin, occupent successivement le bâtiment, et ce, pendant près d'un siècle. La double vocation résidentielle et commerciale se perpétue ainsi jusqu’au milieu du XXe siècle, la partie supérieure devenant une « maison de chambres ».

Dès 1940, en plus de chambres louées, l’immeuble est l’hôte d’un restaurant. Le nom du restaurant Le Fripon apparaît vers 1965, mais un changement de propriétaires survient en 1972. Un incendie endommage le bâtiment en 1975 forçant des rénovations. À cette époque, on agrandit le bâtiment à l'arrière de façon à occuper toute l'ancienne cour. Les chambres louées sont remplacées par des bureaux, eux-mêmes remplacés ensuite par le restaurant en croissance. Les entrées et la devanture du rez-de-chaussée sont modifiées au cours des dernières décennies du XXe siècle. En 2015, le restaurant Le Fripon et ses salles attenantes occupent toujours la majeure partie du bâtiment, mais on y trouve encore un logement.

Le bâtiment présente les caractéristiques d'une maison-magasin typique du milieu du XIXe siècle. Cette apparence tient d'abord, chronologiquement parlant, aux étages supérieurs en pierre taillée, aux murs-coupe-feu et au toit à deux versants percé de lucarnes qui rappellent la construction d'origine, ce à quoi contribuent les fenêtres à petits carreaux mises en place lors de travaux de restauration. La devanture commerciale du rez-de-chaussée, principalement composée de larges fenêtres, doit son apparence aux travaux du milieu du XIXe siècle (1853, et autres dates?) et aux aménagements de la fin du XXe siècle réalisés dans l'esprit des maisons-magasins anciennes. La porte de gauche qui donne accès à des locaux des étages supérieurs rappelle l'emplacement d'une porte cochère qui donnait autrefois accès à une cour maintenant entièrement occupée par le bâtiment agrandi à l'arrière.