Het kasteel werd gebouwd tussen 1350 en 1375.
In 1623 is het kasteel al vervallen als Johan van Reede de eigenaar wordt. Deze gereformeerde kasteelheer vindt een kerk belangrijker dan de herbouw van zijn eigen kasteel. Hij krijgt toestemming om vlakbij het kasteel een eigen kerk te bouwen. Deze fraaie koepelkerk wordt in 1641 in gebruik genomen. Vervolgens laat Johan van Reede in 1654 het oude slot afbreken en het nieuwe, huidige kasteel bouwen.
Na 1682 wordt het nu nog bestaande Grand Canal gegraven tegenover de kasteellaan. Sinds 1968 is het kasteel ondergebracht in de familiestichting Taets van Amerongen. Het park werd overgedragen aan de Stichting Het Utrechts Landschap.

Op 28 november 1985 ging de zolderverdieping in vlammen op. Ook de drie bovenlagen van de toren moesten het ontgelden. Al de volgende dag begon men met het oprichten van steigers. Dit werd bereikt door de voortvarendheid van de huidige eigenaar, baron Taets van Amerongen. Ondertussen is het kasteel weer volledig gerestaureerd.
Het hoofdgebouw bestaat uit twee grote dwarshuizen, die evenwijdig tegen elkaar aan liggen. In feite is het huis maar twee kamers diep, maar de midden- en hoektorens geven het een kasteelachtige aanzien.