Orkesterinjohtaja Raymond Scott teki jopa kappaleen “When Cootie left the Duke”, ja vihaisia artikkeleita, uhkauskirjeitäkin, saivat lukea niin trumpetisti kuin Bennykin. Siirrosta osapuolet olivat tosin sopineet keskenään. Goodmanin jälkeen Williamsilla oli myös oma suosittu big band, mutta hän palasi eri vaiheiden jälkeen Duken orkesteriin 1962 ja soitti siinä vuoteen 1973 eli lähes mestarin kuolemaan saakka. Cootie Williamsin tilalle Ellington palkkasi tyyliltään erilaisen Ray Nancen (1913-1976), joka oli myös pätevä viulisti ja estraditaiteilija.
“They’ll be back”, kommentoi Duke lakonisesti merkittävien muusikoittensa orkesterista lähtöä. Uudet soittajat merkitsivät hänelle toisaalta ohjelmiston uutta ilmettä. “There is no such a thing as a ‘replacement’ in my band. A new musician means for us a new sound and the creation of new music, which he, and he alone, can properly express.”
Euroopan kiertueella 1950 havaittiin kuitenkin, ettei orkesteri ollut enää parhaassa iskussaan. Varmuuden vuoksi silloin mukana oli toinenkin rumpali, ja yksi pasuuna oli korvattu tenorisaksofonistilla.
Tunnettujen isojen orkesterien hajotessa Ellingtonillekin tuli ongelmia. Menestyksekkään Metropolitan-oopperan 1951 konsertin jälkeen saatiin uutisia, joista pääteltiin Duken orkesterin tarinan olevan lopussa. Kolme sen keskeistä muusikkoa ja Duken vanhaa työkaveria, altisti Johnny Hodges, pasunisti Lawrence Brown ja alusta saakka mukana ollut rumpali Sonny Greer, jättivät Ellingtonin orkesterin perustaakseen oman yhtyeen. Erityisesti Hodges oli ollut tärkea väri Duken sävelpaletissa.
Täyttääkseen syntyneet aukot Ellington teki “ryöstön” trumpetisti Harry Jamesin silloin vain osan vuodesta toimivaan orkesteriin ja sai riveihinsä “vanhan” venttiilipasunistinsa Juan Tizolin. Mukaan tulivat myös kokenut alttosaksofonisti, entisen Jimmy Luncefordin orkesterin supertähti Willie Smith ja dynaaminen valkoinen 25-vuotias rumpali Louie Bellson. “Great James robberyn” aikoihin orkesteri täydentyi myös muutamalla muulla nuoremman polven muusikolla, mm. trumpetisti Clark Terrylla ja tenorisaksofonisti Paul Gonsalvesilla.
Erityisesti Bellson osoittautui piristysruiskeeksi, ja Duke Ellingtonin orkesteri nousi uuteen kukoistukseen. Sen ohjelmisto modernisoitui, ja rumpalikin sai nyt soolotilaa. Kahta bassorumpua käyttävän Bellsonin suositut sävellykset ja sovitukset “The Hawk talks” (“Hawk” oli Harry Jamesin lempinimi) ja “Skin deep” täydensivät Ellingtonin vanhasta ohjelmistosta poimittuja ja modernisoituja sävellyksiä.
Takaisin Ellingtonin orkesteriin tulivat Johnny Hodges 1955 ja Lawrence Brown 1960. Hodges oli mukana kuolemaansa saakka, toukokuuhun1970, ja jälkimmäinen oli jättänyt Ellingtonin muutamaa kuukautta aikaisemmin.
