Родился 13 июля 1894 г. в Одессе в семье коммерсанта.
Окончил Одесское коммерческое училище, где овладел несколькими европейскими языками (свои первые рассказы И.Э. Бабель писал по-французски).
В 1911-1916 гг. учился на экономическом отделении коммерческого института в Киеве и параллельно поступил на четвёртый курс юридического факультета Петроградского психоневрологического института. В Петрограде будущий писатель познакомился с М. Горьким. «Я всем обязан этой встрече», - писал он позднее. В журнале «Летопись» (1916 г.) М. Горький опубликовал два рассказа И.Э. Бабеля, которые были благожелательно встречены критикой.
Публицистические статьи и репортёрские заметки И.Э. Бабеля, появлявшиеся в прессе в 1918 г., свидетельствуют о его неприятии жестокости и насилия, порождённых революцией. Весной 1920 г. с журналистским удостоверением на имя Кирилла Васильевича Лютова он отправился в Первую конную армию С.М. Будённого, вместе с ней прошёл по Украине и Галиции.
После перенесённого тифа в ноябре 1920 г. И.Э. Бабель вернулся в Одессу, а затем жил в Москве. В журналах и газетах регулярно печатались его новеллы, составившие впоследствии два знаменитых цикла - «Конармия» (1926 г.) и «Одесские рассказы» (1931 г.).
«Конармия», в которой парадоксально соединились романтическая патетика и грубый натурализм, «низкие» темы и изысканность стиля, - одно из самых бесстрашных и правдивых произведений о революции и Гражданской войне. Характерная для прозы этого времени «заворожённость» автора происходящими на его глазах эпохальными событиями совмещается с трезвой и жёсткой их оценкой. «Конармия», переведённая вскоре на многие языки, принесла автору широкую известность - в середине 20-х гг. XX в. И.Э. Бабель стал одним из самых читаемых советских писателей и в СССР, и за рубежом.
Критик В.Б. Шкловский в 1924 г. отмечал: «Вряд ли сейчас у нас кто-нибудь пишет лучше». Заметным явлением в литературе 20-х гг. явились и «Одесские рассказы» - отмеченные лиризмом и тонкой иронией зарисовки одесского быта.
20-30-е годы были в жизни И.Э. Бабеля периодом постоянных разъездов. Он много путешествовал по стране, часто выезжал в Европу, куда эмигрировала его семья. Неспособный к конформизму в творчестве, писатель всё хуже «вписывался» в советскую действительность.
15 мая 1939 г. И.Э. Бабеля арестовали.
Расстрелян 27 января 1940 г. в Москве.