Gueye begon met voetballen in zijn geboorteland Senegal, waar hij op de pleintjes in de wijken van DakarBierhoff werd genoemd omdat hij net als Oliver Bierhoff vaak met het hoofd scoorde.[1] In 2018 maakte hij de overstap van het Senegalese US Gorée naar het Franse AS Saint-Étienne. In het seizoen 2018/19 speelde hij vijf competitiewedstrijden in het eerste elftal van de club. Bij zijn debuut tegen RC Strasbourg op de tweede speeldag van de Ligue 1 viel hij in de 84e minuut in voor Ole Kristian Selnæs en scoorde hij vier minuten later zijn eerste profdoelpunt.
In het seizoen 2019/20 leende AS Saint-Étienne hem uit aan AS Nancy. Gueye scoorde dat seizoen vijf keer in de Ligue 2 en tweemaal in de Franse bekercompetities. Na afloop van de uitleenbeurt verkocht Saint-Étienne hem voor 1 miljoen euro aan de Belgische eersteklasser KV Oostende.[2] In zijn eerste seizoen, waarin hij naar eigen zeggen vooral in dienst van spitsbroeder Fashion Sakala speelde, was hij in alle competities goed voor dertien goals.[1] Naast zijn goals liet Gueye zich in zijn debuutseizoen opmerken naast het veld: zo was er een bizar penaltyincident met Sakala en stond hij neus aan neus met assistent-trainer Markus Pflanz.[3][4][5]
Gueye is een afstammeling van de soefistische leider Amadou Bamba (1853–1927), die het mouridisme stichtte en een pacifistische strijd voerde tegen het Franse kolonialisme.[6]