Den første jernbanelinjen i Israel ble åpnet i 1898 mens landet var en del av det tyrkiske (ottomanske) imperiet. Den ble bygget og drevet av et fransk selskap og gikk mellom havnebyen Jaffa og Jerusalem. Sporvidden var 1000 mm. Under første verdenskrig ble franskmennene kastet ut, og tyrkerne overtok selv banen og bygget den om til 1050 mm for å kunne bruke materiell fra Hedjaz-Medinabanen som ble åpnet i 1908 for å frakte muslimske pilegrimer til Medina og Mekka. Mot slutten av 1. verdenskrig ble området erobret av britiske tropper som bygget den om til standard britisk feltbanesporvidde, 610 mm. Det britiske mandatstyret i Palestina bygget den senere om til normalspor, 1435 mm. 3 sporviddeendringer på samme bane er antakelig verdensrekord.

Hejaz-Medinabanen banen hadde en sidelinje fra Der'a, som i dag ligger på grensen mellom Syria og Jordan til Haifa. Forbindelsen mellom Haifa og Dera'a ble stengt i 1948 da staten Israel ble opprettet, og er siden aldri blitt gjenåpnet. På 1950-tallet var det fremdeles noe trafikk på den delstrekningen som lå innenfor Israels grenser, men etter hvert opphørte også denne. Det er fremdeles mulig å se rester av banetraséen i terrenget mellom Haifa og den jordanske grensen.

Under det britiske mandatstyret bygget britene en sammenhengende normalsporet bane fra Egypt til Libanon. Denne ble brutt både i nord og i sør da Israel ble opprettet. Enkelte steder var også grensen mellom Jordan og Israel trukket slik at det ble nødvendig med ombygginger for å sikre en sammenhengende linje på israelsk territorium.

I mange år led jernbanen i Israel under et sterkt trykk fra landets mektige - og etter manges mening sterkt korrupte - busslobby knyttet til det statlige busselskapet Egged, og på 1980-tallet var det mange som mente at persontogenes dager i Israel var talte. Godstrafikken klarte seg langt bedre. Omslaget kom et stykke ut på 1990-tallet. Fra da av valgte staten Israel å satse på jernbanen som ryggrad i den offentlige persontrafikken mellom og rundt de store befolkningssentraene. Linjen til Jerusalem ble grunnleggende sanert, og persontrafikken ble gjenopptatt i 2005. Fra tusenårsskiftet og utover ble også persontrafikken gjenopptatt på en rekke linjer, og det pågår en stadig oppgradering av skinnegang og rullende materiell. Fra  2015 ble det også iverksatt en omfattende elektrifisering (25 kV 50 Hz) av jernbanenettet for å utnytte jernbanens miljøpotensial. Det er også gjennomført en omfattende oppgradering av linjen til Jerusalem til en reell høyhastighetsbane. Dette innebar elektrifisering og en større omlegging av linjen som i 2014 fremdeles fulgte den opprinnelige traséen fra 1898, gjennom et spektakulært fjellandskap. Etter at linjen i flere år har endt et stykke sørvest for Jerusalem sentrum, fordi den siste strekningen opp mot den gamle stasjonen på Sionsfjellet gikk gjennom tettbebygde områder med en rekke planoverganger som ville skapt store trafikk problemer for både tog og biler, er jernbanen nå ført fram i tunnel til en underjordisk stasjon ved den sentrale bussterminalen i Vest-Jerusalem. Dette anlegget ble åpnet i 2018. Det diskuteres også å videreføre linjen i tunnel forbi gamlebyen til den gamle stasjonen på Sionsfjellet.

Av andre planer kan nevnes en høyhastighetslinje til Rødehavet og badebyen Eilat. Alle jernbanestrekninger i Israel i dag er normalsporet.

Israels første sporvei ble åpnet i Jerusalem i 2011. Samtidig ble arbeidet med å bygge sporvei i Tel Aviv påbegynt. Den første linjen var planlagt åpnet i 2018, men økonomiske problemer har medført en utsettelse til 2021. I Haifa finnes det også en delvis underjordisk kabelbane fra sentrum opp til Karmelfjellet.