Peu après l'établissement de Pierre Tremblay sur le territoire, le premier Manoir Seigneurial est construit vers 1720. À cette époque, les premiers bâtiments sont érigés le long des berges du fleuve Saint-Laurent mais en 1790, le fils de Pierre Tremblay, Étienne, fait construire un second manoir dans le haut des Éboulements, tout près de l'actuelle rivière du Seigneur. Plus tard, un moulin à farine est également construit.

Vers 1810, la Seigneurie est vendue à Pierre de Sales Laterrière. La famille Laterrière, longtemps associée à l'histoire des Éboulements, transformera et agrandira le Manoir. D'abord établi en 1855 sous le nom de l'Assomption-de-la-Sainte-Vierge, le village des Éboulements représente l'un des plus anciens de la région de Charlevoix.

En 1859, le pouvoir municipal est instauré entraînant ainsi l'abolition du régime seigneurial. À cette époque se dresse, le long de la côte, face au fleuve, plus de 200 habitations. L'agglomération se développe le long de I'actuelle route 362 autour de l'église et de quelques commerces. L'activité économique est principalement basée sur la construction maritime, l'agriculture et la forêt.

L'entité municipale reçoit son actuelle appellation en 1859 et fait référence au violent séisme qui a secoué la région de Charlevoix en février 1663. Cet événement historique naturel a ainsi déclenché un important glissement de terrain vers le littoral du Saint-Laurent et permit le développement de la municipalité de Saint-Joseph-de-la-Rive, désignée longtemps sous le nom des Éboulements-en-bas.

Dans un pays de vallées et de montagnes, ce village au nom évocateur a su garder le patrimoine champêtre architectural et conserver son cachet de la vie d'autrefois.

Blotties sur leurs promontoires, l'église de pierres et les maisons anciennes bordant la rue principale, où l'on retrouve également commerces, hôtels et diverses entreprises, donnent sur l'Isle-aux-Coudres et le fleuve Saint-Laurent une vue saisissante et imprenable.