Хосе Гальярдо родился в Буэнос-Айресе, начал играть на фортепиано в 5 лет. Учился в консерватории родного города, а затем продолжил обучение в Германии, в Высшей школе музыки Майнца. Гальярдо получил известность благодаря дуэту с немецкой скрипачкой Анне-Софи Муттер, с которой выступал на крупнейших сценах мира. Выпустил более 20 альбомов на ведущих мировых лейблах.
С 1998 по 2008 год преподавал в музыкальном отделении Университета Майнца, а с осени 2008 года преподаёт в Центре Леопольда Моцарта Университета Аугсбурга. Является художественным руководителем фестиваля камерной музыки Bürgenstock Festivals в Люцерне.