Un bourg castral, possession des comtes de Bourgogne s'installe sur le rebord du plateau au XIème siècle, protégé par un fossé. Au bord de la Saône une ville basse s'organise au pied du bourg. L'acte de fondation de l'hôpital du Saint Esprit atteste que cette ville basse est déjà fortifiée en 1238. La ville se développe ensuite de façon très importante par l'action d'Othon IV, époux de Mahaut d'Artois. Une université se met en place. Jeanne de Bourgogne continue l'œuvre de son père, fonde une corporation de marchands, accorde une charte aux habitants et reconstruit la ville après l'incendie de 1324.
La ville et ses remparts sont détruits par Louis XI en 1479. Le XVIème siècle est un véritable âge d'or pour la ville, grâce au dynamisme du commerce fluvial et à la présence continue d'une élite politique qui gravite des Flandres à la Comté. La Renaissance rayonne, l'église est reconstruite, l'Hôtel de ville achevé, Claude Arnoux dit Lulier et Denis le Rupt sont à l'origine de la fameuse école de sculpture de Dole . Charles Quint installe à Gray son prévost Gauthiot d'Ancier .
Si le XVIème siècle a été un siècle radieux, le XVIIème est austère, religieux et désastreux, largement éprouvé par la guerre de dix ans et celle qui s'achève par l'annexion de la Franche-Comté au Royaume de France. De nombreux couvents s'établissent. L'arrivée en 1613 de la statuette de "la Vierge à l'enfant" sculptée dans un morceau de chêne miraculeux attire de nombreux pèlerins. Pierre Fourier de Mattaincourt, fondateur de la congrégation Notre Dame, dont la fidélité envers les Ducs de Lorraine l'oblige à s'exiler, arrive à Gray en 1636. Il y meurt en 1640 et est béatifié en 1730. Grâce à ces deux évènements la renommée spirituelle de la ville ne fait que s'amplifier.

Le siècle suivant redonne à Gray sa prospérité perdue avec la construction de l'hôpital, de la caserne et la reprise du commerce fluvial. L'essor économique se concrétise par l'aménagement des quais, l'organisation du centre ferroviaire, le développement des quartiers du bas de la ville avec la construction de chais, d'entrepôts à grain et de moulins. Le développement de la culture s'affirme à Gray par la construction de la bibliothèque et du théâtre.