Goldson begon bij Shrewsbury Town waarvoor hij in vijf seizoenen meer dan honderd wedstrijden speelde. Hij kwam anderhalve maand op huurbasis uit voor Cheltenham Town. In 2015 ging hij naar Brighton & Hove Albion waarmee hij in 2017 naar de Premier League promoveerde. In februari 2017 werd bij Goldson een hartafwijking geconstateerd waarvoor hij geopereerd moest worden en de rest van het seizoen 2016/17 miste.[1] In december 2017 keerde de verdediger terug op het veld en speelde in het seizoen 2017/18 in totaal acht wedstrijden. Goldson tekende in juni 2018 een contract voor vier jaar bij Rangers FC, dat hem voor ongeveer €3.400.000,- overnam van Brighton & Hove Albion.