Als erste konfessionelle Abteilung wurde 1879 im Westen der Anlage bei Tor 1 der „jüdische Friedhof“ (offiziell als Israelitische Abteilung des Zentralfriedhofs bezeichnet) eröffnet. Doch bereits 1916 war diese Abteilung zu klein geworden, weshalb am östlichen Ende des Friedhofsareals die Neue israelitische Abteilung (auch als das 4. Tor bekannt) errichtet wurde. Der Schlussstein zu der von Architekt Ignaz Reiser (1863–1940) entworfenen Zeremonienhalle wurde am 12. September 1928 gelegt.
Das NS-Regime und der 2. Weltkrieg gingen auch am Zentralfriedhof nicht spurlos vorüber. Im Zuge des Pogroms gegen die jüdische Bevölkerung in der sogenannten Reichspogromnacht am 9. November 1938 wurde die Zeremonienhalle auf dem alten jüdischen Friedhof von Nationalsozialisten gesprengt und jene auf dem neuen jüdischen Friedhof verwüstet. Außerdem wurden auf beiden Friedhöfen zahlreiche Grabstätten beschädigt oder zerstört.
Während des 2. Weltkrieges wurden größere Schäden auf dem Friedhof durch Bombenangriffe verursacht, was auch darauf zurückzuführen ist, dass sich in der näheren Umgebung strategisch wichtige Industriestandorte wie beispielsweise die Erdölraffinerie in Schwechat befanden. Nach Kriegsende zählte man auf dem Friedhofsgelände rund 550 Bombentrichter und über 12.000 zerstörte Gräber.
Bis heute werden Grabsteine auf dem jüdischen Friedhof gelegentlich zerstört und umgestürzt.
Im Jahr 1991 wurde durch den im selben Jahr gegründeten, unabhängigen Verein „Schalom“ begonnen, beschädigte Gräber zu restaurieren, Grabinschriften zu erneuern und generelle Instandhaltungsarbeiten durchzuführen.
Im Jahr 2015 begann re:Member seine Tätigkeit auf dem Gelände des 4. Tores. Auf freiwilliger Basis nehmen sich Wiener EinwohnerInnen und BesucherInnen jeden Monat der Dokumentation, Zugänglichkeit und Pflege der Grabsteine an.
