聖經舊約時代在西元前五世紀由先知尼希米所興建的耶路撒冷城牆遺跡，被以色列考古學家馬薩博士發現。馬薩是在這段舊城牆遺跡下發現當時製造的陶器和印章，才確定這段城牆是尼希米興建的，目前位於耶路撒冷舊城的糞門（運送糞便的必經之門）外、面對橄欖山的地方，這個舊城牆遺跡距今約有二千五百年。

跟據聖經記載，尼希米在服事波斯王亞達薛西王時，為破敗的耶路撒冷憂心，在得到亞達薛西王的同意下，讓尼西米回到耶路撒冷興建耶路撒冷城。在四週懷有敵意的鄰邦環繞下，尼希米和當時的猶太人以 52 天的時間，興建了耶路撒冷的城牆。

耶路撒冷的興建，可分幾個時期：
對猶太人來說，大衛王最早興建耶路撒冷城；第一聖殿約在公元前十世紀由所羅門王興建；隨後在公元前 586 年被拆毀，猶太人被遷徙到各地；尼希米率猶太人在公元前 445 年重新修建耶路撒冷城和第二聖殿；公元 70 年第二聖殿被羅馬人拆毀；耶路撒冷的舊城是由土耳其奧圖曼帝國的蘇爾坦蘇丹，在公元 1542 年左右下令興建的。

目前的耶路撒冷舊城已與原先第一聖殿時期和第二聖殿時期的大小都不一樣，在耶路撒冷舊城外，有更早期的耶路撒冷城牆遺跡。今日所確定的尼希米城牆遺跡就是在現有的耶路撒冷舊城外。