Хосе родился в Монтевидео — столице и крупнейшем городе Уругвая – в семье польско-русских эмигрантов. В девять лет мальчик начинает учиться игре на скрипке, а в 15 оканчивает муниципальную музыкальную школу. К тому времени Серебриер уже пишет музыку.
Первым сочинением, увидевшим свет, стала увертюра «Легенда о Фаусте». Её будущий знаменитый композитор представил на конкурсе Оркестра Уругвайского радио и телевидения. В то время это был единственный крупный оркестр в стране. Есть одна забавная история о том, как Хосе заканчивал увертюру в самый последний момент перед подачей на конкурс: юноша переписывал ноты на чистовик, сидя в такси, чтобы успеть подать заявку. Все старания оказались не зря — молодой музыкант выиграл этот конкурс. Однако мечта продирижировать собственным сочинением не сбылась из-за юного возраста композитора. На премьере оркестром руководил Элеазар де Карвалью.
После первого успеха Хосе Серебриер поступает в Кертисовский институт музыки в США к Витторио Джаннини, затем учится в Тэнглвуде у самого Аарона Копленда и, наконец, в Миннесоте у знаменитого Антала Дорати. В 1962 году Хосе становится помощником Леопольда Стоковского, который руководил Американским симфоническим оркестром. Их знакомство началось, правда, ещё пятью годами ранее Стоковский с Хьюстонским симфоническим оркестром впервые исполнил Первую симфонию Серебриера.
Слава музыканта растёт во всём мире. Во время работы приглашённым композитором Кливлендского оркестра Серебриер сочиняет концерт для арфы с оркестром «Волшебные краски», где использует цветомузыку. В 1976 году Серебриер получает высшую дирижёрскую награду в США — Премию Дитсона. А одна из статуэток «Грэмми» достаётся музыканту за запись Пятой симфонии Александра Глазунова. К слову сказать, по числу номинаций на эту престижную премию, Хосе побил рекорд. Он выдвигался на американскую награду тридцать семь (!) раз и восемь из них выигрывал!
Маэстро сделал десятки аудиозаписей с разными оркестрами мира. Сам дирижёр признаётся, что любит именно живые записи концертных программ. Про Хосе Серебриера в Сиднейской опере даже сняли фильм «Серебриер дирижирует Прокофьева, Бетховена и Чайковского». Особую любовь Хосе питает к русской музыке. В 2010 году, выступая с музыкантами Российского национального оркестра, дирижёр сказал: «Я люблю русских артистов. С ними так замечательно работать - это не только великолепный оркестр, у него есть ещё и душа».