Große Teile Jerusalems wurden verwüstet, als eine gewaltige römische Übermacht im Jahre 70 den jüdischen Aufstand niederschlug und die Stadt einnahm. Ihr prächtiger Tempel wurde zerstört; die Einwohner wurden getötet, versklavt oder flohen. Die wenigen Juden, die in der Stadt geblieben waren, mußten Zwangsdienste leisten und hohe Abgaben zahlen; und sie mußten mit ansehen, wie römische Soldaten, Veteranen und fremde Siedler einzogen, um hier zu leben. Die jüdischen Kleinbauern wurden enteignet und zu Pächtern auf römischem Grund.
War Jerusalem bis dahin das alleinige religiöse und politische Zentrum des palästinischen Judentums gewesen, so entstand nun in Jabne, einer kleinen Stadt in der Küstenebene südlich von Jaffa, ein rabbinisches Lehrhaus unter der Leitung von ehemaligen Jerusalemer Priestern und schriftgelehrten Laien. Die rabbinischen Gelehrten zogen unter römischer Duldung bald Aufgaben der früher in Jerusalem angesiedelten jüdischen Selbstverwaltung an sich. In den Texten, die sie uns hinterließen und die für das spätere Judentum maßgebliche Geltung erlangten, ist von Jerusalem und seinem Tempel erstaunlich selten die Rede – vermutlich, weil man in Jabne das Studium des Gesetzes an die Stelle des Tempelopfers gesetzt hatte und diesem nun dieselbe religiöse Bedeutung beimaß.
Nur wenige Jahrzehnte nach der Zerstörung des Tempels flackerte in Jerusalem erneut gewaltsamer Widerstand gegen Rom auf. 133 stieß der Beschluß Kaiser Hadrians, auf den Trümmern der Stadt die römische Metropole Colonia Aelia Capitolina zu errichten, auf den Widerstand radikaler Kreise um Simon ben Koseba (Bar Kochba). Ein großer Teil der verarmten jüdischen Bevölkerung schloß sich ihnen an. Zum Zentrum des Aufstands wurde der römische Legionsstandort Jerusalem.
Nach anfänglichen Erfolgen der Aufrührer schlugen die Legionen Hadrians 135 die Erhebung blutig nieder. Juden durften fortan nicht mehr in Jerusalem wohnen: Ein kaiserliches Dekret verbot allen Beschnittenen bei Todesstrafe das Betreten der Stadt.
Unter den Nachfolgern Hadrians entspannte sich die Lage. In der „Constitutio Antoniniana” gewährte Kaiser Caracalla 212 allen Bewohnern der Provinz Palästina und damit auch allen dort lebenden Juden die römischen Bürgerrechte. Die ersten jüdischen Pilger kehrten zurück. Mit der Erhebung des Christentums zur staatlich privilegierten Religion durch Konstantin I. (325) und dem Beginn der christlichen Bautätigkeit in Jerusalem scheint das alte Dekret aber wieder Verwendung gefunden zu haben. Jüdische Pilger durften fortan nur noch an einem bestimmten Tag im Jahr auf dem Tempelplatz öffentlich trauern: eine bewußte Demütigung seitens der christlichen Machthaber, denn – so wird berichtet – die jüdischen Besucher mußten den römischen Wachen Geld zahlen, um auf dem Tempelplatz Tränen über die Zerstörung des Heiligtums vergießen zu dürfen.
