Vindheim speelde in de jeugdopleiding van SK Brann en maakte ook zijn debuut. Op 4 mei 2014 werd met 1–1 gelijkgespeeld tegen IK Start en Vindheim speelde de volledige negentig minuten mee.[1] Zes dagen later werd een uitduel bij Aalesunds FK afgewerkt. Vindheim mocht opnieuw in de basis starten en acht minuten voor rust was hij verantwoordelijk voor het enige doelpunt van de wedstrijd: 0–1.[2] In totaal kwam de rechtsback in 2014 tot tweeëntwintig competitieoptredens, maar hij kon niet voorkomen dat Brann degradeerde uit de Eliteserien. In maart 2015 werd de Noor voor circa driehonderdvijftigduizend euro overgenomen door Malmö FF, waar hij zijn handtekening zette onder een verbintenis voor de duur van vier seizoenen.[3] Na twee jaar werd dit contract verlengd tot eind 2020.[4] Vindheim maakte in de zomer van 2019 voor circa 1,3 miljoen euro de overstap naar Sparta Praag.[5] In januari 2022 werd de Noor voor een half seizoen gehuurd door Schalke 04.[6] Een jaar later, nadat hij een half seizoen niet in actie was gekomen voor Sparta Praag, werd Vindheim verhuurd aan Lillestrøm.[7] In september 2023 huurde FK Teplice de verdediger.[8]