Atkinson begon bij Aston Villa maar speelde nagenoeg zijn gehele carrière voor Oxford United, waar hij nog steeds het clubrecord heeft van het meeste aantal gespeelde wedstrijden. Als trainer won hij met Manchester United de FA Cup in de seizoenen 1982–83 en 1984–85. Met Sheffield Wednesday won hij de League Cup in het seizoen 1990–91 en met Aston Villa herhaalde hij dit in het seizoen 1993–94.