Den Mosaiska församlingen i Malmö bildades år 1871 och det fanns då omkring 200 judar i Malmö, men det dröjde till början av 1890-talet innan man började diskutera byggandet av en egen synagoga. Drätselkammaren erbjöd 1896 församlingen en tomt vid Föreningsgatan, men kostnaderna för byggandet ansågs för höga och projektet kom därför att vila några år.

En av arkitekten John Smedbergs (se tidigare inlägg)  lärare vid konstakademin och arkitekt bakom byggandet av Enskilda Bankens byggnad vid Östergatan i Malmö var Ernst Abraham Jacobsson. Unge Smedberg lärde känna Ernst Jacobssons syster Nanna Carolina under sin vistelse i Paris och tycke uppstod. När Smedberg hade etablerat sig i Malmö gifte paret sig. Familjen Jacobsson var av judisk börd och detta kan ha bidragit till att John Smedberg i oktober 1901 fick i uppdrag att utföra ritningarna till synagogan. Redan efter någon månad hade ritningarna godkänts, men det dröjde ytterligare ett år innan bygget startades. Synagogan invigdes den 20 september 1903.