Крипс рано проявил музыкальный талант, с шести лет начал учиться музыке, с десяти — петь в церковном хоре, в четырнадцать отлично владел игрой на скрипке, альте, фортепиано. Затем он учился в Венской музыкальной академии под руководством таких педагогов, как Э. Мандишевский и Ф. Вейнгартнер; проработав два года скрипачом в оркестре, он стал хормейстером Венской государственной оперы и в девятнадцать лет встал за ее пульт, чтобы продирижировать «Бал-маскарадом» Верди.
Он возглавлял оперные театры в Дортмунде и Карлсруэ и уже в 1933 году стал первым дирижером в Венской государственной опере и получил класс в Музыкальной академии.
Во время оккупации фашистами Австрии, Крипсу было запрещено выступать дирижёром. Только после освобождения Вены советскими войсками Крипс уже вновь за дирижерским пультом. 1 мая он дирижирует в Народной опере торжественным спектаклем «Свадьба Фигаро», под его управлением 16 сентября возобновляются концерты «Музикферейна», 6 октября начинает свою работу спектаклем «Фиделио» Венская государственная опера, а 14 октября открывается концертный сезон в Венской филармонии.
Вскоре Йозеф Крипс побывал в Москве и Ленинграде. В нескольких его концертах прозвучали произведения Бетховена и Чайковского, Брукнера и Шостаковича, Шуберта и Хачатуряна, Вагнера и Моцарта; целый вечер артист посвятил исполнению вальсов Штрауса. Успех в Москве положил начало широкой мировой известности Крипса.
Некоторое время он возглавлял Лондонский симфонический оркестр. В последние годы Крипс возглавлял оркестры в Буффало и Сан-Франциско. Дирижер регулярно гастролировал в Европе, постоянно дирижировал концертами и оперными спектаклями в Вене.
Крипс по праву считается одним из лучших в мире интерпретаторов Моцарта. Не менее значительное место занимал в его репертуаре Брукнер, ряд симфоний которого он впервые исполнил за пределами Австрии. Но вместе с тем его репертуар очень широк и охватывал различные эпохи и стили — от Баха до композиторов наших дней.