Vagnoman speelde in de jeugd van Hummelsbütteler SV en kwam in 2010 terecht in de opleiding van Hamburger SV. Zijn debuut in het eerste elftal maakte de verdediger, toen op 10 maart 2018 met 6–0 verloren werd van Bayern München. Franck Ribéry (tweemaal), Robert Lewandowski (driemaal) en Arjen Robben zorgden voor de doelpunten dit duel. Vagnoman begon aan de wedstrijd als wisselspeler maar in de zeventigste minuut mocht hij van coach Bernd Hollerbach invallen voor Walace.[1] Met zijn 17 jaar en 89 dagen is hij de jongste HSV-speler aller tijden.[2] Aan het einde van het seizoen 2017/18 degradeerde Hamburger SV uit de Bundesliga. De vleugelverdediger verlengde na de degradatie wel zijn verbintenis met twee seizoenen tot medio 2021.[3] Zijn eerste doelpunt als profvoetballer maakte Vagnoman op 22 september 2019. Op die dag werd in de 2. Bundesliga met 4–0 gewonnen van Erzgebirge Aue. Vagnoman opende na achttien minuten de score. Later wisten ook Lukas Hinterseer, Martin Harnik en Aaron Hunt een doelpunt te maken.[4] Aan het einde van het seizoen 2019/20 werd het contract van Vagnoman opengebroken en verlengd tot medio 2024.[5]
In de zomer van 2022 maakte de verdediger voor een bedrag van circa 3,7 miljoen euro de overstap naar VfB Stuttgart, waar hij zijn handtekening zette onder een verbintenis voor de duur van vier seizoenen.[6] Door een tweede plaats in het seizoen 2023/24 debuteerde Vagnoman de jaargang erna in de UEFA Champions League.