Jones, som kallades "Lean Jimmy", var den första guvernören i Tennessee som var född inom delstatens gränser. Han föddes nära gränsen mellan Wilson County och Davidson County. Fadern dog tidigt. Jones gifte sig 29 augusti1829 med Sarah Watson Munford. Han bestämde sig för att arbeta som jordbrukare hellre än som jurist trots att han hade studerat juridik.
Jones valdes 1839 till Tennessee House of Representatives, underhuset i delstatens lagstiftande församling. Han blev känd som en effektiv talare och blev mycket snabbt en av de ledande företrädarna för whig-partiet i Tennessee. I sitt första guvernörsval besegrade han ämbetsinnehavaren James K. Polk efter en serie debatter där Jones försvarade whig-partiets ekonomiska politik. Efter Jones första mandatperiod som guvernör utmanade demokraten Polk honom. Jones vann valet med en kampanj där han starkt betonade sitt stöd till Henry Clay i presidentvalet i USA 1844. Polk besegrade sedan Clay i presidentvalet trots att han hade förlorat guvernörsvalet till Jones men i Tennessee vann Clay. Nashville blev Tennessees huvudstad på permanent basis under Jones tid som guvernör.
I presidentvalet i USA 1848 var Jones elektor för Zachary Taylor i ett val där Taylor inte bara vann Tennessee utan valdes till president. Tennessee var en viktig delstat för whigs i presidentval och Jones var aktiv i flera av partiets presidentkampanjer. Som senator stödde Jones starkt Winfield Scott i presidentvalet i USA 1852. Även Scott lyckades vinna flest röster i Tennessee trots att demokraten Franklin Pierce vann stort i hela landet.
1850-talet innebar en stark nedgångsperiod för whig-partiet som så småningom försvann från den politiska kartan. Många whigs från sydstaterna hoppade av till knownothings men Jones valde i stället att stöda demokraternas kandidat James Buchanan i presidentvalet i USA 1856 trots att han inte var beredd att officiellt byta parti till demokraterna. Jones lämnade senaten efter en sexårig mandatperiod. Strax innan han dog 50 år gammal meddelade Jones att han stöder demokraten Stephen A. Douglas från Illinois i presidentvalet i USA 1860. Jones grav finns på Elmwood Cemetery i Memphis.
