Franck Kessie puso a Costa de Marfil por delante en el minuto 30, finalizando desde cerca después de que Manuel Neuer hubiera salvado el primer esfuerzo de Amad Diallo, y el equipo africano mantuvo esa ventaja hasta bien entrada la segunda mitad.
Undav, introducido justo después de la hora de juego, igualó en el minuto 68 con un volea de un centro de Nadiem Amiri, antes de completar su remontada con un gol de tiempo de descuento en el minuto 94, aprovechando un pase de Felix Nmecha para disparar desde dentro del área.
La victoria significa que Alemania ha alcanzado las etapas de eliminación directa por primera vez desde 2014, tras salir en la fase de grupos en las dos Copas del Mundo anteriores, con un partido aún por jugar.
El defensor Jonathan Tah elogió la mentalidad de su equipo después del partido.
"Teníamos exactamente lo que se necesita para tener éxito en un torneo. Una mentalidad ganadora, espíritu de equipo. No nos rendimos; simplemente seguimos adelante. Los chicos que salieron del banquillo trajeron nueva energía al juego. Deniz merece una mención especial. Fue excepcional," dijo Tah.
Costa de Marfil, que parecía estar en camino a una victoria histórica durante largos períodos, ahora tendrá que ganar su último partido de grupo contra Curazao para asegurar su propio lugar en las rondas de eliminación directa por primera vez en la historia del país.
Alemania, que aplastó a Curazao 7-1 en su partido inaugural, asegurará el primer puesto en el Grupo E con un punto contra Ecuador en su último partido, o antes si Ecuador no logra vencer a Curazao.
Marcó un dramático cambio para un equipo de Alemania que había parecido estar en desventaja durante gran parte del encuentro, con la disciplinada forma defensiva de Costa de Marfil y la amenaza de contraataque directo poniendo brevemente a la vista uno de los mayores sorpresas del torneo.
La introducción de Undav cambió el equilibrio de manera decisiva, su segundo gol del torneo llegó en el tiempo de descuento para evitar que Alemania pasara vergüenza y extender su notable récord goleador a 10 goles en solo 11 apariciones con su país.