Rakstos pirmoreiz minēta 16. gadsimtā kā Lietuvas lielkņazistes apdzīvotā vieta. Apdzīvotā vieta pievienota Krievijas Impērijai pēc Polijas otrās dalīšanas 1793. gadā. No 1938. gada - pilsētciemats. No 1941. gada 23. augusta līdz 1944. gada 11. janvārim atradās vācu okupācijā. 1971. gadā Jeļska ieguva pilsētas tiesības.