Varga won met Hongarije op de Olympische Spelen van 1964 de gouden medaille met het olympisch voetbalelftal. Daarnaast speelde hij bij Ferencváros dat met hem in de gelederen in 1965 de Jaarbeursstedenbeker won met een finale tegen Juventus. In 1968 speelde hij een duel in Mexico met de nationale ploeg van Hongarije en kneep er stiekem tussen uit. Voor deze "Republikflucht" werd hij ter dood veroordeeld door de Hongaarse autoriteiten.
Van 1968 tot 1969 speelde hij bij Standaard Luik. Vervolgens vertrok hij naar het DuitseHertha BSC Berlin waar hij zich ontwikkelde tot een publiekslieveling. Hij zou er blijven spelen tot hij in 1972 verwikkeld raakte in een omkoopschandaal. Hij werd samen met onder meer Arno Steffenhagen voor twee jaar geschorst voor het spelen van wedstrijden in West-Duitsland en tevens veroordeeld tot een geldboete van DM 15.000. Verbannen uit Duitsland beproefde hij zijn geluk bij Aberdeen FC in Schotland in het seizoen 1972/1973. Hierna werd hij samen met zijn voormalige ploeggenoot Arno Steffenhagen naar Ajax gehaald, dat kort daarvoor voor de derde keer de Europacup I gewonnen had. Bij Ajax zou het duo in het seizoen '73/'74 het gat moeten opvangen dat de vertrokken Johan Cruijff achtergelaten had.[1] Spelend onder nummer veertien werd het voor Varga geen succes, hoewel hij wel het "Doelpunt van het Jaar" maakte. Na één jaar bij Ajax keerde hij terug naar Duitsland waar hij bij Borussia Dortmund in de toenmalige tweede divisie belandde. Hij sloot zijn loopbaan af bij het Beierse FC Augsburg. Na zijn loopbaan als speler werd Varga coach van onder meer Preußen Münster en het Hongaarse Györi ETO FC.
Varga overleed op 65-jarige leeftijd aan een hartaanval tijdens een seniorenwedstrijd.[2]
.jpg)
.svg){kind=small}
Hongarije
Hongarije
.svg){kind=small}
Standard Luik
Hertha BSC
Ajax
1964
1964
