Lionel Messi quebrou o impasse no 29º minuto, dando aos campeões reinantes a liderança que ameaçavam desde os primeiros lances.
Cabo Verde, fazendo sua primeira aparição em uma Copa do Mundo, recusou-se a ser intimidado pela ocasião.
Deroy Duarte empatou para os azarões no segundo tempo, levando a partida para a prorrogação e preparando um final emocionante.
A Argentina parecia ter retomado a liderança quando Lisandro Martinez disparou um chute passando pelo goleiro de Cabo Verde, Vozinha, na prorrogação.
Mas Cabo Verde respondeu mais uma vez, com Sidny Lopes Cabral restabelecendo a igualdade no 103º minuto.
O momento decisivo veio no final, quando a bola acabou na rede após uma jogada inicialmente creditada a Cristian Romero.
Esse gol foi posteriormente reclassificado como um gol contra de Cabo Verde, colocando a Argentina na fase de 16 avos de final.
O treinador da Argentina, Lionel Scaloni, deu sua reação à dramática vitória depois.
"Foi um jogo realmente difícil. Você sempre tem que focar nos pontos positivos. Esta equipe nunca desiste. E eu tenho que dar crédito aos nossos adversários. Hoje Cabo Verde provou que é uma grande equipe. A verdade é que todos terminaram realmente cansados, porque deram tudo de si.
"Esta é a Argentina... Se você não entender isso, é difícil. Nós argentinos vamos entender, porque nada vem fácil."
A campanha de Cabo Verde na América do Norte termina na fase de 32 avos, mas sua performance contra os campeões mundiais reinantes pouco diminuirá a conquista de chegar às fases eliminatórias em seu torneio de estreia.
A Argentina, por outro lado, avança com questões ainda a serem respondidas.
O time de Scaloni teve dificuldades para vencer uma equipe classificada muito abaixo deles no ranking mundial, precisando de dois momentos de sorte na prorrogação para evitar uma disputa de pênaltis ou eliminação.
A maneira como o gol da vitória foi marcado, inicialmente atribuído a Romero antes de ser alterado para um gol contra, pouco ajudará a acalmar os nervos no grupo argentino antes de uma oposição mais difícil que está por vir.
Os jogadores e a comissão técnica de Cabo Verde receberam aplausos calorosos dos torcedores neutros dentro do estádio ao deixarem o campo, com seus torneios terminando de cabeça erguida.
Para a Argentina, o foco agora se volta para a preparação para sua próxima missão enquanto continuam a defesa de seu título mundial.
A mensagem de Scaloni para seus jogadores e torcedores foi clara: nada em uma camisa da Argentina vem sem luta.