取了該市，作為懲罰措施，他下令在希伯來曆埃波月九日，即耶路撒冷遭巴比倫和羅馬軍兵兩次攻陷的週年記念日，將耶路撒冷徹底剷平，在原址新建羅馬城市愛利亞加比多連，聖殿山上另建羅馬神廟，同時將所有猶太人趕出巴勒斯坦，禁止猶太人在耶路撒冷居住。
此後的5個世紀中，該市一直在羅馬帝國和拜占庭帝國的統治之下。4世紀，羅馬帝國皇帝君士坦丁一世控制該市期間，耶路撒冷變成了一個基督教中心，建造了聖墓教堂。
當時，雖然仍然禁止猶太人居住耶路撒冷，但他們已經開始在每年的埃波月九日來到西牆前哭泣。在羅馬帝國分裂後的拜占庭帝國統治下，這座城市在基督教勢力中得到了很好的保護。當時在宗教方面相對寬容，從5世紀開始，猶太人重新被允許住在耶路撒冷。
當來自半島的遊牧民族崛起之後，阿拉伯帝國的第一個征服目標就是耶路撒冷。雖然《古蘭經》中從未提到過耶路撒冷，但伊斯蘭傳統認為，先知穆罕默德是在耶路撒冷昇天，接受《古蘭經》的。
已經走向衰落的拜占庭帝國，沒能擋住阿拉伯的鐵騎彎刀，這座聖城最終淪於阿拉伯人的手中。
在歷史上，關於耶路撒冷的爭奪，從來都沒有停止過，這座城市，也成為東西方碰撞的焦點。
歷史上的公元1099年，第一次十字軍東征，包圍了耶路撒冷，一個多月後，耶路撒冷被十字軍攻佔，十字軍進城後，屠殺了城內大多數穆斯林和猶太人。十字軍在這裡建立了耶路撒冷王國，穆斯林不準入城。
但是在公元1187年，埃及穆斯林君主薩拉丁又重新佔領了耶路撒冷。1219年，大馬士革的蘇丹下令將城牆銷燬，1228年，神聖羅馬帝國皇帝腓特烈二世組織了第六次十字軍東征，透過與埃及簽定條約，得到耶路撒冷。1239年，他開始重建城牆，但不久它們又被拆毀。1243年，基督徒再次佔領耶路撒冷，又重建城牆。1244年，被蒙古亡國的花剌子模在逃亡途中佔領耶路撒冷，教皇英諾森四世發動第七次十字軍，但無法奪回耶路撒冷。1247年，花剌子模被埃及人驅逐，1260年，埃及奴隸騎兵奪取該城，耶路撒冷的猶太人不得不逃到周圍的村莊避難。1482年，一個來此訪問的多明我會教士說耶路撒冷是一個“幾個不同的民族生活在此的城市，它是所有罪惡的集合”。作為罪惡他列舉了撒拉遜人、希臘人、敘利亞人、東正教徒、景教徒、亞美尼亞人、喬治亞人、瑪洛尼教徒、貝督因人、刺客、回教徒和“最可憎的”猶太人。只有羅馬天主教徒“在他們心中盼望基督王子的到來，來將所有的國家納入羅馬教會的統治下。”
1517年，奧斯曼帝國佔領耶路撒冷，他們控制該市，直到20世紀。這時，耶路撒冷重新開始繁榮，城牆和老城也被重建，城內任何宗教都可以存在，但奧斯曼帝國後來的無能統治機構使耶路撒冷的經濟陷入了緩慢的衰退。
到19世紀初，耶路撒冷只有不足8000人口，但依然是一個對猶太教、基督教和伊斯蘭教都很重要的城市。城市居民分四個部分：猶太人、基督徒、穆斯林和亞美尼亞人，穆斯林主要住在聖殿山附近，基督徒主要住在聖墓教堂附近，猶太人主要住在哭牆上方的山坡上，亞美尼亞人主要住在西南。
雖然這個分化並不絕對，但後來它是英國管理時期將城市分為四個區的基礎。各大宗教內部又包括了許多教派，比如聖墓教堂同時歸希臘東正教、羅馬天主教、亞美尼亞教會、埃及教會和衣索比亞教會使用，各教派之間互相沖突，以至於聖壇的鑰匙要交給一個“中立的”穆斯林家庭保管。
由於耶路撒冷對於猶太人、穆斯林和基督徒均具有特殊的重要意義，其地位問題直到杜睿穿越大唐的時候仍然懸而未決。