Kada je Jones Paul Jones (to mu je umjetničko ime) došao na svijet, prvo kao John Baldwine, 03.01.1946. u Sidcup-Kent, odmah je iskusio čari show bussinesa. "Oba moja roditelja su se bavili glazbom, nastupali su u glazbenoj komediji tako da sam već od druge godine putovao."

Otac mu je bio poštovani jazz glazbenik i producent, Joe Baldwine, svirao je u obnovljenoj britanskoj grupi "Ambrose Ochestra." Tata mu je bio pijanist, a sa sinom je skupa išao na gaže. Jones je rekao: "On je silno želio da sviram klavir zato jer je vjerovao da ću jednog dana postati jazz glazbenik. Tata mi je rekao da ako sviram klavir, nikada neću gladovati. Ja sam se na to smijao jer sam više volio svirati bass nego klavir." Bio je najmlađi član porodice koja je živjela u Elthamu. Tako je vrlo rano naučio svirati klavir." Kasnije je plaćao prave lekcije klavira, pa je uskoro svirao i na misama u lokalnoj crkvi. Kada je otkrio da sam se naučio svirati bass rekao je: "Dobro, čuo sam da su dobri bass gitaristi jako traženi zato moraš puno vježbati. Od tada smo često skupa nastupali po vjenčanjima u vrlo neobičnoj kombinaciji, ja sam svirao bass gitaru a tata klavir!"

Kao sin jedinac, Jones je sa 14 godina kada je bio student na Christ College u Blackheathu prvi put je zasvirao bass. "Kada sam počinjao jedva sam znao držati gitaru," sjeća se Jones. "Bio sam fasciniran izvedbama na bas gitari." Kada su roditelji njegov glazbeni instrument prihvatili tada ga je tata počeo učiti čitati i pisati glazbu, vještinu koja će mu biti od velike koristi u budućnosti. Usprkos školi Jones je svirao na mnogim gažama u raznim vojnim bazama u okolici.

U školi je svirao u grupi koju je sam formirao. Tokom ljeta pomagao je svome ocu. Kada je napustio školu, nastavio je živjeti ovim načinom života nekoliko mjeseci, sve dok nije odlučio da se prijavi na audiciju za bivše "Shadowse" Jet Harrisa i Tony Meehana, početkom 1963.godine."Kad sam navršio 17 godina prihvatio sam poziv da postanem profesionalni glazbenik i pridružio sam se "Jet Harris and Tony Meehan's band-u." Oni su bili broj jedan na ljestvici sa hitom "Diamonds." Tony Meehan: "Imali smo singl Diamonds, koji je bio broj 1 i planirali smo formirati bend. John Paul Jones je to čuo i pojavio se na audiciji. Upravo je bio napustio školu, pa je zbog toga bio vrlo nervozan. Usprkos tome, on je bio dobar muzičar i znao je svoj zanat. Bio je poseban na jedan svoj način, pa smo ga odlučili unajmiti. Ja sam radio neke solo projekte za Decca records, dok je Jones svirao na mnogo sesiona. U ono vrijeme smo zarađivali pozamašnu svotu od Ł40 po tjednu, što je bilo sasvim dovoljno. Dodajući na to razne honorare sa sesiona i TV, može se reći da smo dobro zarađivali. Jones je uvijek imao dobre ideje i bio je odličan glazbenik. Ja sam svirao bubnjeve koje je ponekad vrlo teško pratiti ali usprkos mladosti i neiskustvu Jones je to uspijevao. Ljudi u ono doba nisu dolazili na koncerte slušati bendove nego su se htjeli samo zabaviti. Uz taj problem bili smo još i u depresiji zbog pop scene i "Beatlesa" koji su tek počinjali, a već su bili na prvim mjestima top ljestvica. Sa nama je svirao godinu i 18 mjeseci, dok se bend nije raspao."

U Londonu se u to vrijeme teško dolazilo do statusa dobrog bassista zbog vrlo jake konkurencije. Ipak, talent Jonesa nije mogao biti nezapažen tako da je uskoro dobio šansu da snima u studiju sesione za druge glazbenike. Svirao je bass sa 6 žica kojeg mogu svirati samo najtalentiraniji. Bilo je to 1964., kada je imao 19 godina. U ono vrijeme bass kao instrument bio je u pozadini i nije mu se pridavala velika važnost, pa je Jones počeo ponovno svirati orgulje. "Orgulje su moj najdraži instrument, ali mi je bilo draže na gaže nositi bass nego Hammond orgulje." Kasnije je njegov položaj bass gitariste u studiju počeo rasti.

Jones je izdao svoj singl koji se zvao "A Foggy Day In Vietnam." Jones: "Otkrio sam da je muzički aranžman mnogo bolji od čekanja u studiju da me netko unajmi i naređivanja što da radim dok sam na snimanjima. Radio sam neke sesione sa Donovanom. Prva stvar koju sam "načinio" za njega bila je "Sunshine Superman." Na sesionima sam počeo kao svirač bass gitare, a završio kao aranžer. Aranžeri koji su bili na sesionima nisu znali ništa. Morao sam im ja uskakati kad je negdje zaškripjelo." Njegova suradnja s Donovanom dovela ga je do prvog session projekta sa talentiranim gitaristom, Jimmy Page-om. Jones je ubacio Page-a da svira na albumu Donovana, "Hurdy Gurdy Man."

Postao je glazbeni direktor za studio Mickie Most. Tako je upoznao i Page-a, sa kojim je radio na nekoliko sesiona za snimanje albuma "Little Games." U ljeto 1968.godine John Paul Jones je imao reputaciju odličnog glazbenika kako kod svojih kolega tako i kod šire publike. Novca je imao dovoljno, ali pošto je imao ženu i dvoje male djece, morao je razmišljati o budućnosti. Jonesu je malo falilo da se pridruži bandu Terry Reida, ali je onda čuo da Page namjerava osnovati bend. Jimmy Page: "Bio sam na jednom sesionu, gdje je Jones radio glazbeni aranžman. Tokom pauze, pitao me da li trebam bass gitaristu u svojoj novoj grupi. Odgovorio sam da ako hoće, to može biti njegov posao."