On distingue encore aujourd'hui les jardins sous deux appellations différentes, comme il était de coutume de le faire au XVIème siècle. Les jardins dit du Haut et du Bas remontent à l'époque renaissance du château. A. Deville attribue les premiers jardins de Gaillon à Pierre de Mercollienne, Doyen du Plessis et jardinier du Roy Louis XII. En 1506 les travaux des jardins commencèrent à la demande du Cardinal d'Amboise. Le jardin du Haut constituait le jardin d'agrément alors que le potager était dans celui du Bas. L'étendu de ce potager se propageait dans la plaine à partir du pavillon, retouché par Mansart (voir le Pavillon Colbert), sur 60 arpents de terre. Le jardin du Haut suivait la grande esplanade. Le visiteur devait traverser une ligne de bâtiments et galeries, que Mansart modifia en construisant le Pavillon Colbert, pour se rendre dans ce parc rectangulaire beaucoup plus petit que le potager. Les parterres du jardin d'agrément étaient divisés en 26 carrés appelés aussi "parquets" coupés par 2 allées longitudinales et 7 transversales. De ces parquets, deux labyrinthes, un rond et l'autre carré, devaient servir de modèle pour tous les autres parcs de châteaux construits ultérieurement en France. L'agencement de la décoration et de la floraison des ces parquets n'avaient pas été négligés. Ils offraient chacun des dessins variés d'hommes à cheval, navires, oiseaux, où l'ornementation mêlait ardoises découpées et carreaux de terre cuite, marjolaine, marguerites, romarin, violettes et œillets en pot. Tant dans les parterres ou dans le potager les jardiniers avaient planté des poiriers, des cerisiers, des guigniers, des groseilliers, des merisiers, de quelques 200 mûriers blancs et même des pêchers.

Un pavillon octogonal chapeauté d'un St Jean en cuivre, entouré de 4 volières, appelé Pavillon du parmy du jardin, devait voir le jour en 1507 au centre du jardin. Nicolas Castille fut chargé de l'ébénisterie de cet édicule en bois. Les jardiniers y avaient déposé en son centre une magnifique fontaine de marbre surmontée d'une statue de Diane. Cette fontaine, ayant survécu à la rapacité humaine, est exposée dans le musé du Louvre. une grande galerie avec 36 fenêtres et 5 portes ou arcades clôturait la partie Est du jardin. Est-il utile de préciser la richesse de la décoration intérieure de cette galerie? Le lecteur l'aura comprit. Des lambris de bois sculptés par Pierre Valence la tapissaient sur toute sa longueur. Jean Testefort et Lyenard de Feschal eurent en main le marché pour peindre d'or et d'azur les murailles de la galerie ainsi que le pavillon de bois. Les travaux furent achevés en juillet 1508. D'après l'ouvrage d'E. Chirol un Pavillon du bout du Jardin octogonal en pierre et garnie de superbes vitraux se dressait à l'opposé des autres.

Les plans de J. Androuet Du Cerceau et les gravures d'Israël Sylvestre nous apprennent pourtant que ce pavillon était de facture carrée avec ses 4 tourelles et devait non seulement servir "au repos du guerrier" mais aussi de portail communicant avec l'extérieur. Mais est-ce bien le même? Il est vraisemblable de supposer que la cuisine signalée par E. Chirol fasse partie de cet immeuble édifié par le maçon Guillaume Mainville vers 1507.

C'est sous l'épiscopat du Cardinal de Bourbon (env 1560) que le Bas pris toute son importance. Quand Le Notre remania l'ensemble sous l'administration Colbert en 1691, il associa les deux jardins en les reliant par des rampes d'accession toutes gazonnées. En modifiant de fond en comble tous les jardins du Haut il fit abattre la galerie, combla les fossés et fit raser tous les parterres, laissant à leur place des rangées d'arbres à perte de vue. A partir 1707 il ne devait plus y avoir de travaux aussi important. Dans les années 1980 des projets avaient été entrepris par la commune de Gaillon pour redonner vie à ses jardins. En 2002, il n'y a toujours rien de concret.