בשנת 1879, חלק משטח בית הקברות המרכזי של וינה יועד לקבורה יהודית (בשער הראשון). עם זאת, כבר בשנת 1916 הגיע השטח המוקצה במלואו, ושטח נוסף נקבע לקבורת יהודים – שער 4. אולם ההספדים בשער הרביעי נפתח ב-12 בספטמבר 1928, ותוכנן על ידי האדריכל איגנץ רייזר.
ליל הבדולח ב-9 לנובמבר 1938 (ט"ז בחשוון התרצ"ט), לא הותיר את בתי הקברות היהודיים ללא פגע. אולם ההספדים בשער הראשון פוצץ, והאולם בשער הרביעי הושחת לחלוטין. מצבות רבות בשני בתי הקברות ניזוקו ונהרסו.
בית הקברות על כל ארבעת שעריו הופצץ במהלך מלחמת העולם השניה משום שבסמוך לו מוקמו אתרים אסטרטגיים (בין היתר מפעל הזיקוק של שווכאט). בתום המלחמה נמצאו בשטח בית הקברות כ-550 אתרי נפילת פצצות ומעל ל-12,000 קברים שנהרסו כליל.
גם כיום, מצבות בבית הקברות היהודי מחוללים ומופלים מדי פעם.
בשנת 2015 החל מיזם ר:ממבר לתעד, להנגיש ולטפח את השער הרביעי של בית הקברות המרכזי וזאת על בסיס התנדבותי בלבד ובידי פעילות ופעילים מקומיים.
