Südlich des heutigen Orts wird eine keltische Siedlung der Laténezeit vermutet. Erstmals erwähnt ist Gelbingen 1248 im Zusammenhang mit Besitzungen des Klosters Comburg. Daneben hatten auch die Schenken von Limpurg sowie Schwäbisch Haller Bürgerfamilien Güter. Im 15. und 16. Jahrhundert brachte die Reichsstadt Hall schrittweise alle grundherrlichen Rechte an sich. Noch im 18. Jahrhundert war Gelbingen vom Weinbau geprägt, an den mehrere Keltern bzw. deren Ruinen erinnern. Der westlich des Ortskerns gelegenen Neuberg kommt als Standort der im 12. Jahrhundert urkundlich erwähnten Burg "Nuinburc" (Neuenburg) in Frage, ein eindeutiger archäologischer Nachweis fehlt allerdings bislang. Aufgrund der Talage litten die Einwohner besonders unter dem Dreißigjährigen Krieg. Die 1342 gestiftete Johanneskirche war ursprünglich Filial von Erlach, dessen Kirche wohl schon im 10. Jahrhundert gebaut wurde. Während der Reformation kam es zu einem Wechsel des Pfarrsitzes. Auch Gelbingen erlitt bei Kriegsende 1945 schwere Zerstörungen. Nach längeren Konflikten erfolgte 1975 die Eingemeindung nach Schwäbisch Hall.