Das Gelände des heutigen Weißenburgparks wurde schon frühzeitig wegen seiner exponierten Lage am Fuße des Bopsers im Südosten Stuttgarts zum Standort für besondere Bauanlagen ausgewählt.
So gehörten Bereiche des Bopsers und des heutigen Weißenburgparks im Mittelalter zu einer Burganlage, der so genannten Weißenburg, die erstmals im Jahre 1263 erwähnt wird und im Besitz des Grafen Ulrich von Württemberg war. Bei der Belagerung Stuttgarts durch König Rudolf von Habsburg blieb sie 1286 verschont, wurde aber im Reichskrieg gegen Graf Eberhard den Erlauchten 1312 zerstört.
Über die weitere Geschichte der Burgstelle kann nicht viel berichtet werden. Die Geschichte der später so genannten Villa Weißenburg beginnt in den Jahren 1843 / 44, als der Hofbedienstete Heinrich Fellger für seinen Sohn um Baugenehmigung am Bopser nachsucht, mit dem „Hauptzweck, eine Schokoladen -fabrik einzurichten sowie Brustkranke und Molkekuranten zu beherbergen. Es sei auch auf Wunsch der gebildeten Stände und höheren Herrschaften, dass an dieser schönen Stelle mit Kaffee, Limonade und sonstigen feinen Getränken aufgeartet wird“. Das man heute im Teehaus trinken und vespern kann, geht womöglich auf eine 140 Jahre alte Lizenz zurück, als es das Teehaus noch gar nicht gab. Das Fellgersche Haus sollte so aussehen: „Unterer Teil mit Keller, Küche und Schokoladen-Fabrik. Parterre mit Vorhalle, Gesellschaftszimmern, Buffet. Belle Etage: Gesellschaftssaal, Nebenzimmer, Wohnzimmer. Oberer Stock: Gästezimmer“. So wurde die „Fellgersburg“ dann auch gebaut, gedieh aber als Luft- und Molkekuranstalt mit Konditorei und Café nur kurze Zeit. Schon drei Jahre später, 1847, war das Anwesen im Besitz von Dr. med. Frank, der dort zwei Jahre später eine Erziehungs- und Bewahranstalt für geistig behinderte Kinder errichtete. Zwischen 1851 und dem Ende des 19. Jahrhunderts wechselte die Anlage Villa Weißenburg noch fünfmal ihren Besitzer. Seit 1898 war der Großindustrielle, Chemiker und Ägyptenforscher Dr. Ernst von Sieglin (1848 – 1927) Hausherr der Villa Weißenburg. Er ließ 1912 / 1913 durch Professor Heinrich Henes auf dem Hang gegen die Bopserklinge den Marmorsaal, den Tennisplatz und das Teehaus erbauen. Auch an der Villa wurden in diesem Zusammenhang einige Umbauten vorgenommen. Die Villa Weißenburg und die Bauten in ihrem Park kamen unzerstört durch den Zweiten Weltkrieg. Danach zogen zuerst die französischen und dann die amerikanischen Besatzer ein. 1956 verkauften die Sieglin-Erben die Villa und den Park an die Stadt Stuttgart. Anlässlich der Bundesgartenschau 1961 wurde der Park nach eineinhalbjähriger Bauzeit der Öffentlichkeit übergeben. Zu den Umbaumaßnahmen gehörte auch die Fußgängerbrücke über die Bopserwaldstraße, die den Hauptzugang zum Park darstellt. Das Teehaus wurde renoviert und als Ausschank eingerichtet.
Der Marmorsaal, der etliche Jahre dem Verfall preisgegeben war, wurde leider unsachgemäß restauriert. die Kassettendecke wurde durch untergehängte Putzlappen und durch Lampen des damals gängigen Zeitgeschmacks verunstaltet. Die eigentlich erforderliche Restaurierung der Wandgemälde und der Saal-Dekoration unterblieb, stattdessen verschwanden die bemalten Flächen unter heller Dispersionsfarbe. Die klassizistische Villa, der jeder architektonische Wert abgesprochen wurde, brach man 1964 ab. Der Abbruch der Villa Weißenburg, die „Modernisierung“ der Parkanlage und die stümperhafte Instandhaltung des Marmorsaals beleuchteten die damalige Einstellung der Öffentlichkeit gegenüber historischen Stilepochen. 1978 wurden Marmorsaal und Teehaus, als Zeichen gewandelten Bewusstseins, in das Denkmalbuch aufgenommen.