Dana 31. svibnja 1920., Leeds United je izabran u Football League, ligu koja obuhvaća natjecanja između engleskih i velških momčadi, u tri natjecanja Championship, League One i League Two.

Tijekom sljedećih nekoliko godina, Leedsove dobre igre u Drugoj diviziji donijele su mu naslov 1924, te prelazak u Prvu diviziju, tadašnju najvišu ligu. Međutim, tamo se nisu uspjeli dugo zadržati, već sezone 1926./27. ispadaju u drugu ligu, a Fairclough podnosi ostavku. U godinama do početka Drugog svjetskog rata, Leeds je dva puta ispadao iz lige no oba puta se odmah i vraćao. Dana 5. ožujka 1935. Ray daje ostavku, a njega zamjenjuje Billy Hampson koji je ostao na toj poziciji čak 12 godina. U sezoni 1946./47. Leeds, sa najgorim ligaškim omjerom pobjeda u svojoj povijesti, opet ispada iz lige. Nakon te sezone, Hampson daje ostavku, no ostaje raditi u klubu kao glavni skaut, a na mjestu trenera zamjenjuje ga Willis Edwards.

Godine 1948. Sam Bolton postaje novi predsjednik Leedsa umjesto Ernesta Pullana, a Edwardsa, koji postaje pomoćni trener, zamjenjuje Frank Buckley.

Leeds ostaje u Drugoj diviziji do sezone 1955./56., kada su predvođeni legendom velškog nogometa Johnom Charlesom, stigli do drugog mjesta, te se time kvalificirali u Prvu diviziju. Međutim, John Charles nije bio zadovoljan klubom, te je prodan Juventusu za tada ogromnih 65,000 Ł. Gubitak takvog ključnog igrača koji trebao biti vođa Leedsa, doveo je do ponovnog ispadanja u Drugu diviziju sezone 1959./60.