L'Histoire ferroviaire de Gray a débuté au milieu du 19ème siècle. À l'époque, Gray était une ville riche de par la présence de nombreux gisements de fer en surface, et son importante activité portuaire car étant le terminus de la Saône navigable. C'est dans ce contexte que les Graylois et Haut-Saônois de tous bords avaient milité pour un tracé de ligne de Dijon à Mulhouse passant par Gray et Vesoul, qui aurait été le plus favorable sur le plan structurel et géographique, mais ce fut le tracé par la vallée du Doubs qui sera finalement retenu avec un embranchement vers Gray.

Avec la construction de nouvelles lignes, Gray s'est retrouvée dotée d'une gare à caractère internationale avec un réseau en étoile à cinq branches avec des lignes vers Nancy, Chalon sur Saône, Besançon, Langres (Culmont-Chalindrey) et Troyes. La gare faisait également office de frontière entre le chemin de fer de l'Est et le Chemin de fer de Paris à Lyon et à la Méditerranée, qui, tous deux voulaient se partager ce lourd trafic et avaient des dépôts vapeur importants.   

Ainsi, Gray fut un arrêt important sur la première ligne de Dijon à Nancy (par Auxonne et Vesoul) pendant quelques décennies, et voyait encore un flux important de trafic entre la Suisse, l'Italie et la région Parisienne  jusque dans les années trente. L'axe (Chalon s/ Saône)Auxonne-Vesoul en particulier était très stratégique d'un point de vue militaire, et à Gray, ont été construits des importants magasins militaires. Cependant, après la guerre de 1870, il fut décidé de doubler la ligne Dijon-Nancy avec une ligne plus à l'Ouest, passant par Chalindrey et Neufchateau, car celle passant par Gray fut déclarée trop proche de la frontière Allemande. Après les conflits, cette ligne a ainsi perdu son caractère international.

De plus, l'industrie Grayloise ne s'est pas modernisée comme le reste de la France, et après la deuxième guerre mondiale, beaucoup de structures n'ont pas été reconstruites.  Notamment le Bâtiment Voyageurs fut partiellement détruit, et le pont ferroviaire sur la Saône (pour la ligne vers Besançon) ne sera jamais reconstruit de façon définitive. La ligne vers Auxonne, perdit son trafic voyageurs en 1938, et sera fermée au trafic en étapes à partir des années cinquante.

Il resta tout de même un gros trafic de marchandises sur les lignes restantes avec les trains de céréales, machines agricoles et poteaux téléphoniques entre autres, affrétés par les CFTA (Société Générale de Chemins de Fer et de Transports Automobiles), qui gérait également la circulation des trains de voyageurs Dijon-Vesoul (par Is Sur Tille)  et vers Culmont-Chalindrey.

Le dernier train de voyageurs est parti de Gray en 1970 et à la fin de la Vapeur sur l'étoile en 1975 (et par la même occasion, en France), beaucoup de trafics fret ont été réduits, pour éventuellement ne laisser que du trafic  commercial sur des courts tronçons. Mais, les Graylois redemandent du train, et de nombreuses circulations touristiques et à vapeur ont lieu sur l'étoile. L'utilisation de la vapeur jusqu'en 1975 a laissé aux CFTA les moyens de réparer les locos à vapeur pour le compte des touristiques jusqu'en 2014. On a donc pu voir des rassemblements de 141R, 231K ou encore 231G  à Gray.

Pendant une dizaine d'années et Jusqu'en 1991, la ligne de Chalindrey fut l'unique accès à Gray, date à laquelle cette ligne est abandonnée au profit de la ligne d'Auxonne par manque d'entretien. En fin 2018, les derniers tronçons des lignes d'Is sur Tille et de Vesoul utilisés jusqu'alors pour la desserte de silos sont abandonnés pour ne laisser que la ligne d'Auxonne.