Franck Kessie bracht Ivoorkust op voorsprong in de 30e minuut, door van dichtbij af te ronden nadat Manuel Neuer de eerste poging van Amad Diallo had gestopt, en de Afrikaanse ploeg hield die voorsprong diep in de tweede helft vast.
Undav, die net na het uur werd ingebracht, maakte gelijk in de 68e minuut met een volley van een voorzet van Nadiem Amiri, voordat hij zijn comeback voltooide met een winnende goal in de blessuretijd in de 94e minuut, waarbij hij een pass van Felix Nmecha oppikte om van binnen de zestien te scoren.
De overwinning betekent dat Duitsland voor het eerst sinds 2014 de knock-outfase heeft bereikt, na uitschakelingen in de groepsfase van de vorige twee Wereldkampioenschappen, met nog een wedstrijd te spelen.
Verdediger Jonathan Tah prees de mentaliteit van zijn ploeg na de wedstrijd.
"We hadden precies wat nodig was om te slagen in een toernooi. Een winnende mentaliteit, teamgeest. We gaven niet op; we gingen gewoon door. De jongens die van de bank kwamen, brachten nieuwe energie in het spel. Deniz verdient een speciale vermelding. Hij was uitstekend," zei Tah.
Ivoorkust, dat lange tijd op weg leek naar een beroemde overwinning, zal nu hun laatste groepswedstrijd tegen Curacao moeten winnen om voor het eerst in de geschiedenis van het land een plek in de knock-outfase te verzekeren.
Duitsland, dat Curacao met 7-1 versloeg in hun openingswedstrijd, zal de eerste plaats in Groep E veiligstellen met een punt tegen Ecuador in hun laatste wedstrijd, of eerder als Ecuador niet wint van Curacao.
Het markeerde een dramatische ommekeer voor een Duitse ploeg die gedurende een groot deel van de wedstrijd op achterstand leek, met de gedisciplineerde defensieve opstelling van Ivoorkust en de directe counteraanval die kortstondig een van de grotere verrassingen van het toernooi in zicht bracht.
De inbreng van Undav verschuift de balans beslissend, zijn tweede doelpunt van het toernooi kwam in de blessuretijd om Duitsland's blunders te verdoezelen en zijn opmerkelijke scoringsrecord uit te breiden naar 10 doelpunten in slechts 11 optredens voor zijn land.