Im mittelalterlichen Fischerdörfchen St. Johann war der Markt vermutlich noch an einer anderen Stelle gelegen. Dort, wo heute die im Jahr 1758 geweihte barocke Basilika St. Johann steht, hatte es schon im 7. Jahrhundert eine Johannes dem Täufer geweihte Kapelle gegeben, in der Nachfolge weitere Kirchenbauten. Um diese Kirche – aus heutiger Sicht im Bereich Türken- und Katholisch-Kirch-Straße – hatte sich das Dorf erstreckt. Der Markt wurde damals vermutlich auf der breiten Katholisch-Kirch-Straße gehalten.

Nachdem das Dorf St. Johann im Jahr 1322 die Stadtrechte erhalten hatte – nach heutigen Maßstäben war es noch immer ein kleines Dörfchen – verlagerte sich der „St. Johanner Markt“ an seinen heutigen Platz, rundherum wuchs das Dorf. Die neue Lage hatte sich wohl auch aus der damaligen Flussüberquerung – wo erst 1546/47 die „Alte Brücke“ entstand – ergeben. Hier kreuzten sich auch Handelswege zwischen Metz und Mainz, zwischen Straßburg und Trier.

Im Jahr 1503 brach ein Feuer in der Stadt aus, das ein Großteil der mittelalterlichen Gebäude am Markt zerstörte. Doch auch die in der Folge neu gebauten Häuser waren kein Werk für die Ewigkeit, denn im Dreißigjährigen Krieg (1618 bis 1648) wurden wiederum fast alle Häuser am St. Johanner Markt zerstört, und es musste neu gebaut werden.

Rund 100 Jahre später änderte der Markt erneut sein Aussehen, diesmal aber wegen neuer Vorlieben in der Architektur: In der Regierungszeit von Fürst Wilhelm Heinrich entstanden Mitte des 18. Jahrhunderts neue Bürgerhäuser im Barockstil rund um den Markt. Das allgemeine Konzept dafür stammte – wie so oft, wenn es um barocke Bauten in Saarbrücken geht – von Baumeisters Friedrich Joachim Stengel. Direkt als Architekt beteiligt war er an den Neu- und Umbauten allerdings nicht.

In jener Zeit entstand auch, unter Baumeister Ignatius Bischof, der heute noch existierende Marktbrunnen. Auch für ihn hatte es verschiedene Vorgänger-Brunnen gegeben. Belegt ist, dass schon 1556 ein Vorgänger-Brunnen errichtet wurde, der im Jahr 1602 einem von Schlossbaumeister Heinrich Kempter geschaffenen Brunnen weichen musste; der Brunnen soll einen gewappneten Mann mit zwei Schilden gezeigt haben.

Etwas ganz unerhört modernes hielt im Jahr 1890 Einzug: Damals fuhr zum ersten Mal die Straßenbahn über den St. Johanner Markt.

Unter der Nazi-Diktatur gab es 1938 ein groß angelegtes Zwangs-Sanierungsprogramm, das dem Markt ein einheitliches (neu-)barockes Aussehen geben sollte, weil NS-Oberbürgermeister Fritz Schwitzgebel davon träumte, aus Saarbrücken ein wirtschaftliches und kulturelles Zentrum „im Westen des Reiches“ zu machen. Die Stadt ließ planen, die Hausbesitzer mussten es ausführen und größtenteils auch bezahlen. Was da von der NS-Verwaltung „gewünscht“ wurde, reichte von neuen Anstrichen bis zu größeren Umbauten. Historismus- und Jugendstil-Elemente an der Marktbebauung mussten komplett entfernt werden. Sogar die Höhen der Häuser wurden gleichgeschaltet: Was die NS-Planer für zu hoch hielten, musste abgetragen, was sie für zu niedrig hielten, musste aufgestockt werden. Selbst der dreidimensional herausgearbeitete Eichenstamm am Gasthaus Zur Eiche musste abgeschlagen werden.

Sogar der große Brunnen wurde versetzt (inzwischen steht er wieder an alter Stelle), um einfacher größere Verkehrsströme – und Aufmärsche – über den Markt führen zu können. Häuser, die „zu weit“ in die Katholisch-Kirch-Straße ragten, wurden einfach abgerissen. Alle Häuser am Markt wurden „Stengel-grau“ gestrichen – auch die aus vor-barocker Zeit.

Bürgermeister Schwitzgebel ging es bei all dem auch um die Schau: 61 Hausfassaden wurden in nur zwei Monaten „barockisiert“, um Adolf Hitler bei dessen Besuch im Oktober 1939 einen – äußerlich – sanierten Marktplatz zeigen zu können. Weitere Sanierungsmaßnahmen zogen sich bis zum Beginn des Zweiten Weltkriegs. Ein geplantes „nationalsozialistisches Forum“ zwischen Saar und St. Johanner Markt wurde allerdings nie verwirklicht.

Durch die Bombenangriffe auf Saarbrücken am 29. und 30. Juli, sowie am 5. Oktober 1944 wurde die Bebauung des Marktes und seines Umfeldes teils stark beschädigt. Nach dem Krieg wurden viele, wenn auch nicht alle,  Häuser nochmals saniert oder komplett wieder aufgebaut. Was allerdings nicht verhinderte, dass sich nach und nach auch das Rotlichtmilieu am bald heruntergekommenen St. Johanner Markt breit machte. Und Anfang der 1960er Jahre wurden historische Häuser, die unzerstört durch den Zweiten Weltkrieg gekommen waren, aus verkehrstechnischen Gründen abgerissen, etwa das Haus Keltermann und ein benachbartes Gebäude. Nicht verwirklicht wurden die Pläne, den St. Johanner Markt zu erweitern und großflächig neu zu bebauen. Nur etwas weiter weg entstanden dann das Karstadt-Gebäude und das IBM-Hochhaus. Die Lücke, wo einst das Keltermann- und dessen Nachbarhaus standen, wurde 1975 mit einem barockisierenden Eckhaus wieder geschlossen.

In den 1970er Jahren stieß die von mehreren Seiten vorgebrachte Idee, das ganze Areal zu einer Fußgängerzone zu machen, wie sie damals in vielen Städten auftauchten, immer stärker auf Zustimmung. Unter Oberbürgermeister Oskar Lafontaine wurde dann, von 1976 bis 1979, der Marktplatz grundlegend saniert, und der St. Johanner Markt wurde nun tatsächlich zur Fußgängerzone. Auch die gesamte St. Johanner Altstadt wurde saniert, die offizielle Übergabe an die Öffentlichkeit erfolgte am 1. Mai 1978. Im selben Jahr entstanden durch ein Bildhauersymposion, initiiert durch den Bildhauer Paul Schneider und dem  Kulturamt Saarbrückens, siebzehn heute noch an den Platz-Rändern zu sehende Steinskulpturen, und der Brunnen wurde wieder an seinen alten Standort versetzt. Offiziell wurde die Sanierung des St. Johanner Marktes am 1. Mai 1979 verkündet, als Ehrengast war Bundeskanzler Helmut Schmidt angereist. Rauchen war damals ja auch noch kein Problem.