Qvist nam met zijn vaderland deel aan twee eindtoernooien: EK voetbal 1984 en WK voetbal 1986. Bij het eerste toernooi speelde hij mee in alle vier de wedstrijden van de Denen, nadat hij de voorkeur had gekregen boven Ole Kjær na de 6–0 nederlaag tegen Nederland op 14 maart van dat jaar. In 1986 moest Qvist genoegen nemen met een plaats op de reservebank, omdat Piontek de voorkeur gaf aan Troels Rasmussen en Lars Høgh.