C’est en 1390 que Jean, fils du Comte de Namur, acquiert le Château, la tour et les terres de Dhuy et de Bayard. Devenu Jean III, comte de Namur, il lègue ses avoirs en 1420 à son fils, Philippe, avant de vendre le comté de Namur au duc de Bourgogne, en 1421. Depuis lors, les descendants de Philippe de Namur ont repris tour à tour le Château Bayard.