Lionel Messi a ouvert le score à la 29e minute, donnant aux champions en titre l'avantage qu'ils avaient menacé depuis les premiers échanges.
Le Cap-Vert, apparaissant pour la première fois en Coupe du Monde, a refusé d'être impressionné par l'occasion.
Deroy Duarte a égalisé pour les outsiders en seconde période, prolongeant le match en temps additionnel et préparant une fin palpitante.
L'Argentine semblait avoir repris l'avantage lorsque Lisandro Martinez a tiré au but, dépassant le gardien du Cap-Vert Vozinha en temps additionnel.
Mais le Cap-Vert a répondu une fois de plus, avec Sidny Lopes Cabral rétablissant l'égalité à la 103e minute.
Le moment décisif est survenu tardivement, lorsque le ballon a terminé dans le filet suite à une phase de jeu initialement créditée à Cristian Romero.
Ce but a ensuite été reclassé comme un but contre son camp par le Cap-Vert, envoyant l'Argentine en huitièmes de finale.
L'entraîneur de l'Argentine, Lionel Scaloni, a donné sa réaction à la victoire dramatique par la suite.
"C'était un match vraiment difficile. Il faut toujours se concentrer sur les points positifs. Cette équipe n'abandonne jamais. Et je dois rendre hommage à nos adversaires. Aujourd'hui, le Cap-Vert a prouvé qu'il était une grande équipe. La vérité est que tout le monde a fini vraiment fatigué, car ils ont donné le maximum.
"C'est l'Argentine... Si vous ne comprenez pas cela, c'est difficile. Nous, Argentins, allons le comprendre, car rien n'est facile."
Le parcours du Cap-Vert en Amérique du Nord s'arrête au stade des 32, mais leur performance contre les champions du monde en titre ne diminuera en rien l'accomplissement d'atteindre les tours à élimination directe lors de leur tournoi de débuts.
L'Argentine, en revanche, passe à l'étape suivante avec des questions encore sans réponse.
L'équipe de Scaloni a eu du mal à se défaire d'une équipe classée bien en dessous d'eux dans le classement mondial, ayant besoin de deux moments de chance en temps additionnel pour éviter une séance de tirs au but ou l'élimination.
La manière dont le but gagnant a été marqué, initialement attribué à Romero avant d'être modifié en but contre son camp, ne fera guère pour apaiser les nerfs dans le camp argentin avant des adversaires plus coriaces à venir.
Les joueurs et le staff du Cap-Vert ont reçu des applaudissements chaleureux de la part des supporters neutres dans le stade en quittant le terrain, leur tournoi se terminant la tête haute.
Pour l'Argentine, l'accent est désormais mis sur la préparation de leur prochaine mission alors qu'ils continuent la défense de leur titre mondial.
Le message de Scaloni à ses joueurs et supporters était clair : rien dans un maillot argentin ne vient sans un combat.