Akadca "tanrının kapısı" anlamına gelen Babil adı (bâb "kapı" ili "tanrının") İbrânîce'de Bâbel/Bâvel Persçe'de Babiruş ve Grekçe'de Babylon şekillerinde kullanılmıştır. Şehrin adına ilk defa milâttan önce III. binyılın sonlarına ait Akad vesikalarında rastlanır; ancak kuruluşunun çok daha önce olduğu tahmin edilmektedir. Çünkü şehrin ilk adı Sümerce Ka-dingir-ra'dır (ka "kapı" dingir "tanrı" -ra "-nın") ve Babil'in bu isimden Akadca'ya yapılmış bir tercüme olduğu açıklıkla anlaşılmaktadır. Bir çivi yazılı tabletin verdiği bilgiye göre Sümer şehir-devletlerini yıkarak Sâmî Akad İmparatorluğu'nu kurmuş olan Akadlı Sargon (MÖ XXIV. yüzyıl) Babil'i ele geçirip tahrip etmiş ve mabetlerinden kaldırdığı tanrı heykellerini kendi başşehri Akad'ın yanına kurduğu yeni Babil şehrine götürmüştür.