Waar nu huis Duistervoorde staat, bevond zich vanaf de 14e eeuw een middeleeuws kasteel met omgrachting, poortgebouw en brug. Het kasteel was het centrum van het landgoed. Het is verbouwd en gemoderniseerd in 1612 en 1641.

In 1864 werd het kasteel voor het grootste deel afgebroken en vervolgens herbouwd tot een villa in eclectische stijl ...