这一决定极大损伤了犹太人的民族感情，成为了公元132年-135年大起义的导火线。这次起义爆发后许多志愿者纷纷参与其中。起义军成功夺取了耶路撒冷，还控制了利达、刻发尔、哈卢帕、恩马利斯、佐尔、希律堡、隐基底、阿多拉、赫伯罗、伯萨、美拉德等地。起义军发行了铸有“拯救锡安”、“为了以色列的自由”等字样的钱币，征收什一税和地租，组织群众进行生产，恢复了犹太教的传统习俗。

公元133年罗马皇帝哈德良从帝国各地调来七个集团镇压这场起义。公元134年夏季罗马大军攻陷耶路撒冷，起义领导者巴尔·科赫巴率部转移到耶路撒冷东南约11公里处的贝塔尔要塞。起义军在这里坚守到公元135年8月。最终罗马人还是成功镇压了这场起义：参与起义的男女老幼被集中屠*。在这次起义之前犹太国家尽管实际上已沦为罗马的附庸，但仍保留着一个国家的行政架构。

罗马在镇压了这场起义之后彻底吞并了犹太国家，从此迦南地区由罗马的附庸国变成了罗马帝国直接统治的行省。罗马人将当地的犹太人逐出，同时从其他地区移入非犹太居民，从此开始了犹太人在世界各地辗转迁徙的流浪生涯。哈德良皇帝下令将耶路撒冷夷为平地，然后在耶路撒冷的地基上重建了一座名为埃利亚·卡皮托利纳的新城。迦南地区也被改称为巴勒斯坦，以此抹去当地的犹太痕迹。

“巴勒斯坦”这个名字就此诞生。巴勒斯坦这块土地自古以来就是多民族并存的：即使在古以色列王国统治时期这片被称为“迦南”的土地上也居住着除了犹太人之外的很多其他民族。罗马帝国分裂为东西两部分后巴勒斯坦地区归属于东罗马拜占庭帝国，而在东面的波斯高原上则崛起了新兴的萨珊波斯帝国，此后巴勒斯坦地区长期处于拜占庭和萨珊波斯的争夺之下。