Lionel Messi doorbrak de ban in de 29e minuut en gaf de regerende kampioenen de voorsprong die ze al vanaf de openingsfase dreigden te nemen.
Kaapverdië, dat voor het eerst op een Wereldkampioenschap verscheen, weigerde zich te laten overweldigen door de gelegenheid.
Deroy Duarte bracht de underdogs in de tweede helft op gelijke hoogte, waardoor de wedstrijd in extra tijd werd getrokken en er een spannende finish ontstond.
Argentinië leek opnieuw de voorsprong te hebben gepakt toen Lisandro Martinez een schot langs de Kaapverdische doelman Vozinha knalde in de extra tijd.
Maar Kaapverdië reageerde opnieuw, met Sidny Lopes Cabral die in de 103e minuut de gelijkmaker scoorde.
Het beslissende moment kwam laat in de wedstrijd, toen de bal in het net belandde na een fase van spel die aanvankelijk aan Cristian Romero werd toegeschreven.
Dat doelpunt werd vervolgens geherclassificeerd als een eigen doelpunt door Kaapverdië, waardoor Argentinië doorging naar de ronde van 16.
Argentinië coach Lionel Scaloni gaf zijn reactie op de dramatische overwinning daarna.
"Het was een echt zware wedstrijd. Je moet altijd op de positieve dingen focussen. Dit team geeft nooit op. En ik moet onze tegenstanders krediet geven. Vandaag heeft Kaapverdië bewezen dat ze een geweldig team zijn. De waarheid is dat iedereen echt moe was, omdat ze alles hebben gegeven.
"Dit is Argentinië... Als je dat niet begrijpt, is het moeilijk. Wij Argentijnen zullen het begrijpen, want niets komt gemakkelijk."
De run van Kaapverdië in Noord-Amerika eindigt in de ronde van 32, maar hun prestatie tegen de regerende wereldkampioenen zal weinig afdoen aan de prestatie om de knock-out rondes te bereiken in hun debuuttoernooi.
Argentinië daarentegen gaat verder met nog vragen te beantwoorden.
Scaloni's team had moeite om een team dat ver onder hen in de wereldranglijst staat, af te schudden, en had twee momenten van geluk in de extra tijd nodig om een penalty shoot-out of eliminatie te vermijden.
De manier waarop het winnende doelpunt tot stand kwam, aanvankelijk toegekend aan Romero voordat het werd aangepast naar een eigen doelpunt, zal weinig doen om de zenuwen in het Argentijnse kamp te kalmeren voor de moeilijkere tegenstand die nog komt.
De spelers en staf van Kaapverdië ontvingen warme applaus van neutrale supporters in het stadion toen ze het veld verlieten, hun toernooi eindigend met opgeheven hoofd.
Voor Argentinië ligt de focus nu op de voorbereiding voor hun volgende opdracht terwijl ze de verdediging van hun wereldtitel voortzetten.
Scaloni's boodschap aan zijn spelers en supporters was duidelijk: niets in een Argentinië-shirt komt zonder strijd.