In de jaren ’70 zette Jo Vally zijn eerste bescheiden stappen in de muziekwereld. Samen met een paar vrienden richtte hij het groepje The Dreamband op, waarmee hij zo nu en dan optrad in eigen regio.

Niet veel later kwam hij Rik Vervecken van artiestenbureau VAK tegen. Vervecken beloofde van Jo een ster te maken. Er kwamen een aantal singeltjes op de markt onder de naam Valli Low, de artiestennaam die later werd veranderd in Jo Vally.

In 1981 nam Jo deel aan de preselecties voor het Eurovisie Songfestival met het nummer ‘De wereld draait voor jou en mij’. Hij slaagde er echter niet in de finale te bereiken en het was uiteindelijk Emly Starr die voor ons land naar Dublin ging. Een paar jaar later zat Jo ook in de ploeg voor de Baccarabeker in Middelkerke (een liedjeswedstrijd tussen de vijf Vlaamse provincies), maar ook dit zorgde niet voor de grote doorbraak. Na een handvol geflopte singels als ‘Dag en nacht’, ‘Toch voel ik dat ik leef’, ‘Zolang als de zon schijnt’ en ‘Liefde voor één nacht’ had Jo er genoeg van. Hij wilde zijn droom om van de muziek te kunnen leven opbergen en stoppen met zingen. De doorbraak Jo had net besloten dat hij maar beter kon aanvaarden dat zijn muziek nooit zijn leven zou worden, toen er sprake was van de komst van een commercieel tv-station. Zijn contract met Rik Vervecken was afgelopen, maar Jo besliste het er nog één keer op te wagen. Nog één kans gunde hij zichzelf. De allerlaatste.

Hij luisterde naar een aantal oude platen, en op aanraden van zijn vrouw Marcella nam hij een cover op van "Take my heart" van Jacky James. "Neem m'n hart" was het resultaat. Toevallig ontmoette Jo op restaurant de promotiedame van platenfirma Indisc. Zij nam "Neem m'n hart" mee en liet het nummer horen aan tal van mensen in de muziekwereld, zonder erbij te vertellen dat het gezongen werd door Jo Vally. De reacties waren verbazend positief: iedereen vond het een sterke song. De singel "Neem m'n hart" zou door iedereen gesteund worden, dat was de belofte. Toen men hoorde dat het om een liedje van Jo Vally ging, konden de meesten hun oren niet geloven. Maar niemand kon zich nog terugtrekken. Toen VTM de plaat op 28 december 1989 bombardeerde tot "Supertip" in Tien om te Zien (gestart op 16 maart '89), betekende dat voor Jo eindelijk de grote doorbraak. Na ongeveer 10 jaar bloed, zweet en tranen en ontelbare teleurstellingen, kreeg hij toch nog de kans om een succesvolle carrière uit te bouwen.