Red Pollard war 1,70 m (5 ft 7 in) groß und wog 115 lb (52 kg), was als groß für einen Jockey gilt. Im Jahr 1933 ritt Pollard in Ontario auf den Rennbahnen von Woodbine und Fort Erie. Zu Beginn seiner Karriere verlor er das Sehvermögen auf dem rechten Auge aufgrund einer traumatischen Hirnverletzung, die er erlitt, als er bei einem Trainingsritt von einem Stein, der von einem anderen Pferd hochgeworfen wurde, am Kopf getroffen wurde. Da er nicht hätte reiten dürfen, wenn das volle Ausmaß seiner Verletzung bekannt gewesen wäre, hielt er den Verlust seines Augenlichts für den Rest seiner Reiterkarriere geheim.
Als er 1936 in Detroit arbeitslos war, wurde Pollard von Pferdetrainer Tom Smith angeheuert, um Charles S. Howards Seabiscuit zu reiten. Der erste Einsatzsieg des Teams war das Governor’s Handicap 1936. Pollard und Seabiscuit gewannen zahlreiche wichtige Rennen, darunter das Brooklyn Handicap 1937 auf der Old Aqueduct Racetrack in New York City, das Massachusetts Handicap 1937 auf den Suffolk Downs in Boston und verloren bekanntlich um eine Nasenlänge das Santa Anita Handicap 1937. Pollard und Seabiscuit wurden von den meisten als die beste Paarung von Rennpferd und Jockey in den USA zu dieser Zeit angesehen. Im Jahr 1940 jockeyte Pollard den damals 7-jährigen Seabiscuit zu einem Sieg beim Santa Anita Handicap im Santa Anita Park in Arcadia, Kalifornien. Es war das letzte Rennen von Seabiscuit. Pollard ritt Seabiscuit 30 Mal mit 18 Siegen – allesamt Stakes oder Handicaps.
Nach der Saison 1940 kaufte Pollard ein Haus in Pawtucket, Rhode Island. Pollard ritt bis in die 1950er Jahre weiter, hauptsächlich in Neuengland. Schließlich wurde er Kammerdiener eines Jockeys im Narragansett Park in Rhode Island.