Karl Gebhardt nacque a Haag in Baviera il 23 novembre 1897.
Dal marzo 1916 partecipò alla Prima Guerra Mondiale venendo decorato due volte con Croce di Ferro e fatto prigioniero.
Dopo la guerra si arruolò in uno dei corpi armati di estrema destra, il Freikorps "Oberland" (15° Freikwilligen-Kompanie) con il quale nel 1919 combatté contro la "Rote Armee", una organizzazione paramilitare di estrema sinistra nella zona della Ruhr. Congedato dall'esercito nel 1920 ritornò alla vita civile laureandosi in medicina. Contemporaneamente sviluppava la sua militanza nazista iscrivendosi al Partito (tessera 1723317) e arruolandosi nelle SS nel 1935.
Amico di infanzia di Himmler, Gebhardt percorse una rapidissima carriera nelle SS divenendo già nel 1943 Gruppenführer.
Parallelamente ricopriva incarichi prestigiosi all'interno del Servizio Medico delle SS: Capo Chirurgo delle SS (Oberster Kliniker, Reichsarzt SS und Polizei), Capo della Clinica delle SS di Hohenlychen, Ordinario di Chirurgia Ortopedica all'Università di Berlino, medico personale di Himmler.
Nell'estate del 1943 venne incaricato di condurre esperimenti medici per testare l'efficacia dei sulfamidici.
Gli esperimenti vennero condotti nel campo di concentramento femminile di Ravensbrück utilizzando come cavie le prigioniere polacche e russe. Gli esperimenti - particolarmente atroci e mortali - furono condotti da una squadra di medici da lui diretta e composta tra gli altri dal dottor Fritz Fischer e dalla dottoressa Herta Oberheuser. Condusse altri esperimenti pseudoscientifici sulla rigenerazione delle ossa sottoponendo le detenute ad operazioni di inaudita violenza e crudeltà.
Alla morte di Hitler venne nominato Capo della Croce Rossa Tedesca dal nuovo capo del governo ammiraglio Doenitz.
Catturato dagli Alleati fu uno dei principali accusati al processo di Norimberga celebrato contro i medici nazisti.
Riconosciuto colpevole di crimini contro l'umanità venne condannato a morte ed impiccato nel carcere di Landsberg il 2 giugno 1948.