Сильвио Варвизо родился в Цюрихе, где впоследствии окончил Цюрихскую консерваторию по классу фортепиано и дирижирования. Профессиональную карьеру начал в 1944 году в театре Санкт-Галлена.
С 1956 по 1962 год занимал должность главного дирижёра Базельской оперы. В те же годы дебютировал в Метрополитен-опере с постановкой «Лючии ди Ламмермур». Позднее стал музыкальным директором Королевской оперы в Стокгольме.
Основу репертуара составляли произведения Моцарта, Вагнера и Рихарда Штрауса. Записи тех лет опер «Летучий голландец» и «Севильский цирюльник» принесли ему большой успех. С 1980 по 1985 год возглавлял Парижскую оперу.
«Оркестр должен следовать за певцом, а не подавлять его», — отмечал дирижёр. Этот принцип стал отличительной чертой его исполнительского стиля.
Последние годы работал с Фламандской оперой в Антверпене.