Исаак Шварц родился 13 мая 1923 г. на Украине, в городе Ромны Черниговской области, в семье ученого-филолога. Дед по отцовской линии в начале XX века переехал на Украину из Прибалтики.
В 1930 году семья Шварца переехала в Ленинград, там мальчик начал заниматься в Доме художественного воспитания детей (ДХВД) по классу рояля у А. С. Замкова. В 1935 году Исаак Шварц в возрасте 12 лет принимает участие в юношеском концерте в Большом зале Ленинградской филармонии.
В 1945 году поступил в Ленинградскую консерваторию. После окончания консерватории Шварц в 1954 году сочиняет «Симфонию фа минор», принёсшую молодому композитору первый успех. В 1955 г. Исаак Шварц был принят в Союз композиторов.
В последующие годы он пишет ряд балетов, музыку для спектаклей («Идиот», «Горе от ума», «Не склонившие головы» и «На всякого мудреца довольно простоты» в постановке Г. Товстоногова, «Доходное место» в постановке Р. Сусловича и др.) и кинофильмов (всего более 110 картин).
Весьма плодотворным оказался творческий союз Шварца с Булатом Окуджавой. Вместе они создали 32 песни, наиболее известные из которых — Песенка кавалергарда из кинофильма «Звезда пленительного счастья», песня «Ваше благородие, госпожа разлука» («Белое солнце пустыни»), романс «Наряд подвенечный» («Нас венчали не в церкви»), а также песни из кинофильма «Соломенная шляпка».
И.И. Шварц – народный артист России, лауреат Государственной премии России, академик Национальной академии кинематографических искусств и наук России и Российской академии кинематографических искусств «НИКА». В 2000 году ему была присуждена Царскосельская художественная премия «За уникальное собрание романсов на стихи русских поэтов XIX–XX веков». В 2003 году И.И. Шварцу присвоено звание почетного гражданина Ленинградской области.
Исаак Иосифович Шварц скончался в поселке Сиверский Ленинградской области, где жил и работал последнее время.