Saksofonista odpowiedzialny był za wypracowanie charakterystycznego brzmienia grupy Count Basie Orchestra. Wraz z grupą otrzymał dwie nagrody Grammy. Ponadto udzielał się w takich kapelach jak The Non-Electric Company, Swing Plus i Loud Minority Big Band.

W 2001 r. Foster przeszedł udar mózgu i nie mógł już grać na saksofonie. Skupił się za to na pracy kompozytorskiej.

Odpowiedzialny za wiele standardów (m.in. „Shiny Stockings”, „Down for the Count”, „Blues Backstage” czy „Back to the Apple”), w 2002 r. otrzymał od Narodowej Fundacji na rzecz Sztuk odznakę Mistrza Jazzu, najważniejszy tytuł, jaki może spotkać jazzowego muzyka w Stanach Zjednoczonych.