Los barones controlaban el puente y gravaban a viajeros y mercancías que vinieran tanto por las carreteras como por el río. A tal punto eran importantes los impuestos que cobraban, que la señoría fue confiscada por Philippe Auguste sobre la base de las quejas de los mercaderes despojados. El rey hizo construir una torre de guarnición para poder garantizar el respeto a su autoridad.
En 1382 el feudo pasó a la familia de Guy de Trèmoille, el cual hizo venir a Sully, para consultarlo, a uno de los arquitectos de los reyes Charles V y Charles VI, pero luego le confió la obra al albañil de la familia, el cual construyó el torreón, el patio y el corral. La mayor parte de esos elementos pueden verse todavía.
Su hijo, Georges, intrigante favorito de Charles VII, recibió allí las frecuentes visitas del rey, el cual estaba en Sully cuando Jeanne d’Arc liberó Orleans, el 8 de mayo de 1429.
La joven doncella permaneció allí, más o menos retenida por La Trèmoille, celoso de su influencia, a fines del invierno de 1429-1430, y le hizo compañía con un grupo de feligreses, para luego ir a combatir a los borgoniones (de Bourgogne) en L’Ile de France. Fue entonces que cayó prisionera, en Compiègne.
En 1481 Louis XI fue recibido en el château de Sully por Louis de La Trèmoille. Louis XII y François I lo fueron en cambio por su hijo. En 1604 Maximilien de Béthune, poderoso ministro y amigo de Henri IV, adquirió las tierras de Sully que el rey, 4 años más tarde, erigiría en ducado. Allí, hizo restaurar el château dañado por las guerras de religión. Lo adaptó a la época; modernizó las defensas y construyó en especial la torre baja del lado de la ciudad, llamada entonces torre de Béthune, a prueba de artillería enemiga.
Sully, para escribir las «Oeconomies royales», obra consagrada al reinado de Henri IV y hacerlas publicar rápidamente, instaló en la torre lindante a su despacho a un impresor de Auxerre que trabajaba para él. Sully es el último gran señor que tuvo Francia y que además gozó del privilegio de acuñar moneda.
Bajo la Regencia, cuatro generaciones más tarde, el duque de Sully, que no había conservado nada de la austeridad de su antepasado protestante, recibía alli a una sociedad muy «libertina» en la cual brillaba un joven autor, Arouet, el futuro Voltaire.
Este duque hizo demoler la torre de Philippe Auguste, modificar la habitación a la derecha de la entrada y, además, cegar el foso del torreón del lado del patio.
El castillo «fue perdonado» por la Revolución: el duque, nieto del precedente, sostenía ideas avanzadas y había hecho derribar las insignias señoriales del château, las almenas y el matacan (en la Edad Media, balcón de piedra cuyo suelo presentaba aberturas por donde los defensores podían arrojar todo tipo de proyectiles a los enemigos).
Un muy amplio terraplén, circundado por fosos, formaba el corral que alojaba el conjunto de las dependencias, la tour de Philippe Auguste y una iglesia colegial, reconstruida en la ciudad por parte de Sully. Ese terraplén fue transformado en jardines en el siglo XVIII y daba acceso a través de un puente fijo, antiguamente levadizo, a la entrada del castillete, que fuera reconstruido en el siglo XVI.
La sala del primer piso, la de los recibimientos y del tribunal señorial, fue arreglada y decorada por Maximilien de Bèthune, primer duque de Sully. En los vanos están representados sus antepasados, en «trompe l’œil », mientras que su castillo natal de Rosny, decora la campana de la chimenea.
Una puerta de hierro, escondida por un entablado, lleva a la sala desde donde las guardias maniobran la grada, el puente levadizo y el matacán; sala de los valores del Duque, en el siglo XVII, oratorio desde 1931, cuando los restos mortales del Duque y de la segunda esposa fueron transportados desde Nogent le Rotrou, donde las tumbas fueron profanadas durante la Revolución.
En el primer piso, se destacan la cámara del rey, de 100 metros cuadrados, con decoraciones estilo Louis XIII y tapices del siglo XVII, cuya cama del mismo estilo recuerda el paso del futuro Louis XIV durante la Fronda (de 1648 a 1652). La misma habitación de su abuelo, Henri IV, que honraba con su amistad al Duque de Sully.
La decoración del techo recuerda que el Duque era Gran Maestro de artillería y muy devoto a su rey. Sully fue también un gran economista preocupado en la promoción de la agricultura y la industria, simbolizadas por el árbol del gusano de seda. No se puede abandonar la parroquia de Sully sin recordar a Maurice, nacido en una familia modesta, que en el siglo XIII se convirtió en sacerdote, más tarde obispo de París, con el nombre de Laurice de Sully, e hizo construir Notre Dame.
El Consejo General de la región de Loiret, propietario del château desde 1962, asegura la restauración, la conservación y la animación del monumento.