C’est en 1390 que Jean, fils du Comte de Namur, acquiert le Château, la tour et les terres de Dhuy et de Bayard. Devenu Jean III, comte de Namur, il lègue ses avoirs en 1420 à son fils, Philippe, avant de vendre le comté de Namur au duc de Bourgogne, en 1421. Depuis lors, les descendants de Philippe de Namur ont repris tour à tour le Château Bayard.

Le dernier Namur d’Elzée, vice-président du Sénat, et son épouse, Marie de Saint-Mauris, terminèrent la « modernisation » du Château et des écuries au cours du 19e siècle. A la mort de cette dernière, en 1914, le domaine est légué à son neveu, le comte de Brouchoven de Bergeyck.

Depuis le 6 mai 1995, le Château Bayard accueille des séminaires, réunions, mariages et réceptions. Ces dernières années, une restauration en profondeur a été réalisée au Château Bayard pour encore mieux vous accueillir.