Bis zum großen Stadtbrand vom 31. August 1728 stand das wohl im Spätmittelalter gebaute Rathaus am Hafenmarkt, etwa an der Stelle der Post. Für den Neubau wählte man den Standort der durch das Feuer ebenfalls zerstörten Kirche St. Jakob am Marktplatz, die zum 1236 gegründeten Franziskanerklosters gehört und durch dessen Auflösung 1524 ihre Funktion verloren hatte. Das von dem Ludwigsburger Baumeister Johann Ulrich Heim entworfene und durch den italienischen Maler Livio Retti mit Fresken verzierte neue Rathaus konnte 1735 eingeweiht werden. Es gilt als eines der schönsten barocken Rathäuser Deutschlands. Am 17. April 1945 brannte es nach Brandbombentreffern aus, nicht zuletzt wohl deshalb, weil ein bewaffneter SA-Mann rechtzeitige Löscharbeiten verhindert hatte. Am 30. April 1955 konnte das unter der Leitung von Eduard Krüger wieder aufgebaute Rathaus eingeweiht werden. Soweit möglich, hat man auch die Freskomalereien wieder hergestellt. Heute ist das Rathaus Sitz des Oberbürgermeisters und von Teilen der Stadtverwaltung. Im Untergeschoss befindet sich die 1575 gegründete Ratsbibliothek, eine bedeutende historische Büchersammlung.