En 1026, le domaine de Ryes était une dépendance du comté du Bessin, ancien diocèse franc de Bayeux devenu normand sous Rollon en 928.
Raoul d’Argences, moine bénédictin de Fécamp, confie à Thomas, fils de Ranoulf, les terres de Ryes, soit la moitié de la commune dont l’emplacement de la Ferme-Manoir du Pavillon, ainsi que la moitié de l’église partagée avec l’abbaye de Longues sur Mer.

A l’hiver 1046, toujours sur ce site, Hubert de Ryes et ses fils (notamment Robert qui deviendra évêque de Sées de 1070 à 1082) sauvèrent Guillaume le Bâtard, futur Guillaume Le Conquérant, poursuivi depuis Valognes par la conjuration des barons révoltés. En ferrant à l’envers les chevaux de Guillaume ils trompèrent ses poursuivants.

En l’aidant à échapper à ses agresseurs, Hubert de Ryes changea l’histoire de la Normandie et modifia le destin de sa famille, car grâce à l’appui ducal, lui et ses fils eurent de remarquables carrières, malgré leur petite noblesse.

Dès 1226, on retrouve la trace des baux de Ryes ainsi que le « bénéfice cure » et le « droit de présentation. » Et ce jusqu’en 1732.

En 1443, la moitié de Ryes fut désignée « baronnie de Ryes» autour de la Ferme-Manoir du Pavillon.
En 1688, l’abbaye de Fécamp conférait le plein droit au fief de Ryes.