Първите данни за съществуването на Йерусалим се отнасят към средата на 2 хилядолетие пр.н.е.Влиза в състава на много древни и средновековни държави.Твърде малко се знае за цитаделата, наричана Йевус,която Давид превзема през 1000 пр.н.е. и след като променя името ѝ,прави от нея средище на еврейския народ през 1004 пр.н.е.Неговият син Соломон построява великолепен храм,крепостни стени и дворец.
След смъртта на Соломон политическото и религиозното значение на Йерусалим запада.Разорен от асирийците,които опожаряват Соломоновия храм(587 пр.н.е.),градът е изграден отново по нареждане на цар Кир (към 536 пр.н.е.).По-късно попада под владичеството на египетските Птолемеи и азиатските Селевкиди. Освободен е от Макавеите през 468 пр.н.е.;Ирод Велики(414 пр.н.е.)издига отново и украсява Йерусалимския храм.Йерусалим е завладян от римляните-Помпей Велики,който поверява управлението му на Ирод Антипа.
Почти веднага след смъртта на Ирод Юдея е присъединена към римската провинция Сирия и е управлявана от прокуратори, най-известен от които е Пилат Понтийски.По време на неговото управление е разпнат Исус Христос.
След въстание през 70 г.Тит завладява отново града, който по-късно е сринат до основи от Адриан(131 г.)и върху развалините му е създадена римската колония Елия.
Константин Велики и източните императори издигат отново Йерусалим,но упадъкът на Византийската империя спира неговото развитие.
Завладян от персите при Хосрой(614 г.),отвоюван от Ираклий(629 г.)и отново е завладян от арабите при Омар(636 г.),Йерусалим е последователно под властта на Умаядите,Абасидите и Фатимидите.
През 1099 г.го превземат и кръстоносците,но през 1187 г.Саладин го завоюва отново.С малки изключения Йерусалим остава в ръцете на мюсюлманите до края на Първата световна война.
От 1920 г.до 1947 г.е административен център на Палестина(под британски мандат).По решение на ООН през 1947 г.е отделен като самостоятелна административна единица.В резултат на Арабско-израелската война(1948-1949 г.)градът е разделен между Израел (западна част) и Йордания (източна част).През 1950 г. правителството на Израел обявява западната част на Йерусалим за столица на страната,а през 1967 г.анексира и източната част на града.
С решение на ООН(1967-1971 г.)са отменени всички опити за анексия на Йерусалим.