Dzimis Elmshornā, ģimnāzijā mācījies Altonā. No 1904. līdz 1908. gadam Genteingenē un Minhenē studēja matemātiku un fiziku. Doktora disertāciju aizstāvēja pie Dāvida Hilberta. Vēlāk kļuva par Alberta Einšteina kolēģi Cīrihes Augstākajā tehniskajā skolā. 1921. gadā uz Cīrihi pārcēlās arī Ervīns Šrēdingers, un kļuva par Veila tuvu draugu. 1930. gadā Veils ieņēma Hilberta vietu Getingenes Universitātē, tomēr 1933. gadā, nākot pie varas nacistiem, devās uz ASV, daļēji tāpēc, ka Veila sieva bija ebrejiete. Līdz 1951. gadam Veils strādāja Prinstonā, Padziļināto studiju institūtā.