Родился в крестьянской семье, учился музыке у деревенского музыканта. В юные годы работал органистом и хормейстером в храмах, играл также на скрипке и виолончели.
Исполнительское мастерство совершенствовал в Вене. Был знаком с Гайдном и Моцартом и даже играл на виолончели вместе с ними в одном квартете. Гайдн дирижировал одной из его симфоний, а Моцарт играл его концерт. Ванхаль был очень плодовитым автором и написал около 1300 произведений, среди которых 73 симфонии. Иоганн Баптист стал одним из первых композиторов, кто смог полностью обеспечить свою жизнь сочинительством.