L’histoire de la communauté juive de Prague commence au 10ème siècle alors que les commerçants venus de Jérusalem s’installent dans la partie nord de la ville. Mais très vite le manque de place, à la surface comme sous terre, commence à devenir un problème. Pour optimisé l’espace devenu rare dans le cimetière, les tombes sont mises côte à côte et même empilées jusqu’à 10 superposées.
Il y a environ 12 000 pierres tombales dans le cimetière, dont beaucoup sont décorées de symboles d’animaux et de végétaux dont tous sont des références à la religion, le nom ou la profession.
Le vieux cimetière juif est l’un des plus anciens cimetières juifs au monde et, avec la vieille-nouvelle synagogue, c’est le site le plus important de la ville juive de Prague.