Le château proprement dit est constitué de deux parties séparées, avec chacune leur système défensif. Le donjon a été construit vers 1395 pour Guy de La Trémoïlle, seigneur de Sully, par Raymond du Temple, architecte du roi. C’est à la fois un bâtiment fortifié, destiné à défendre le pont sur la Loire mais aussi d’apparat, pour organiser les réceptions fastueuses données par le seigneur. Le petit château a été construit quelques décennies plus tard. De taille plus modeste, il sert davantage pour la vie quotidienne du châtelain et sa famille. La basse-cour, délimitée par des tours d’angle, comporte la tour dite de Philippe Auguste, construite en 1218, l’église du village, ainsi que divers communs et éléments défensifs.

En 1962, le château et son parc sont rachetés par le Département du Loiret à la famille de Béthune-Sully. D’importants travaux de restauration sont ensuite menés. Plus récemment, l’aile brûlée a fait l’objet d’un réaménagement complet, poursuivi par une active politique d’ameublement.