Au XIème siècle, la seigneurie de Saint-Aubin fait partie du vaste domaine féodal des Ducs de Normandie. Dès le XIIIème siècle il existe déjà sur ces terres un logis seigneurial et une église à l'intérieur d'une enceinte dont il reste certains murs (visibles le long de la place Christian Pajot). Le logis était entouré de douves traversées par un petit pont, dont les bases d'origines existent encore elles aussi. Lorsque Claude Groulard, premier président du Parlement de Normandie, fait l'acquisition de cette propriété, il aime venir se reposer dans le manoir seigneurial. C'est dans ces lieux qu'il aurait accueilli en 1592, Henri IV blessé à la bataille d'Aumale. En reconnaissance, celui-ci érige la seigneurie de Saint-Aubin en châtellenie en 1603.
Le domaine restera propriété de la famille Groulard pendant 250 ans. Sur l'emplacement des fondations féodales encore visibles, les descendants de Claude Groulard font élever au XVIIIème siècle, le château actuel construit en brique rose et coiffé de toits à la Mansard. Par la suite le château changera plusieurs fois de propriétaires. Citons parmi les châtelains, l'illustre champion d'échecs franco-russe Alexandre Alekine.
Le château est encore aujourd'hui une propriété privée.
Les murs d'enceinte, le pont, les fondations, le four à pain et les écuries voûtées en ogive (inscrites à l'inventaire des monuments historiques) sont des témoignages de l'histoire ancienne de ce château du XIIIème au XVIème siècle.
