Elsener, bijgenaamd Turbo-Ruedi, kwam onder meer uit voor Grasshopper Club, Eintracht Frankfurt en FC Zürich. Hij verhuisde voor aanvang van het seizoen 1978/79 naar de Duitse Bundesliga, waar hij zich aansloot bij Eintracht Frankfurt. Hij debuteerde op 12 augustus1978 uit tegen Schalke 04. Aan het einde van dat jaar werd hij uitverkoren tot Zwitsers voetballer van het jaar. In zijn eerste en enige Bundesliga-seizoen scoorde hij zes keer in 33 optredens en eindigde hij als derde op de clubtopscorerslijst achter Werner Lorant en Bernd Hölzenbein. Elsener won twee keer de Zwitserse landstitel gedurende zijn carrière. Hij beëindigde zijn loopbaan in 1988 bij Yverdon-Sport.
Elsener speelde in totaal 49 officiële interlands (zes doelpunten) voor Zwitserland. Onder leiding van bondscoach René Hüssy maakte hij zijn debuut op 9 juni1974 in de vriendschappelijke wedstrijd tegen Zweden (0-0) in Malmö, net als Lucio Bizzini (CS Chênois), René Botteron (FC Zürich), Peter Risi (FC Winterthur). Elsener viel in die wedstrijd na 45 minutenin in voor laatstgenoemde.
.svg){kind=small}
Grasshopper Club Zürich