Het eerste deel van het huidige kasteel is rond 1300 gebouwd. De heren Van de Bergh woonde er. Vervolgens werd het steeds verder uitgebreid, want het kasteel is in verschillende fases opgebouwd.
In de Tachtigjarige Oorlog is Huis Bergh ernstig verwoest. Omstreeks 1600 begon het herstel van het kasteel. Nadat het in de 18e en 20ste eeuw ook nog eens volledig uitgebrand is, kun je het nu zien hoe het daarna is opgebouwd met behulp van de plaatselijke bevolking.

In 1941 was de wederopbouw voltooid. Het was toen eigendom van de heer J.H. van Heek. Deze industrieel uit Enschede droeg het kasteel met bijbehorende eigendommen in 1946 over aan de Stichting Huis Bergh. Er was onder andere een wagenremise, smederij, waskeuken, brouwerij, graanbergplaatsen en paardenstal.