De Argentijn produceerde cruciale reddingen van Yasin Ayari en Lewis Dunk nadat Mateo Kovačić de derde penalty van City miste, waardoor de strafschoppenserie omdraaide en een thuis kwartfinale tegen Bradford City veiligstelde.
Brighton nam twee keer de leiding in het Etihad, met Malick Yalcouyé die de score opende in de 30ste minuut en Georginio Rutter die de voorsprong van de bezoekers kort na de rust herstelde. Kovačić maakte voor City gelijk voor de pauze, terwijl een vrije trap van Rayan Cherki via Vitor Reis deflecteerde en het 2-2 maakte in de 73ste minuut.
Manchester City-manager Enzo Maresca prees Rulli, die pas zijn tweede optreden voor de club maakte.
"Afgezien van de penalties, was hij over het algemeen goed," zei Maresca.
"Het was niet gemakkelijk omdat ze man-tegen-man spelen, agressief. In de eerste helft gingen we lang naar Floyd en in de tweede helft op de grond. Hij maakte ook een goede redding. Hij was goed."
Maresca bevestigde dat Gianluigi Donnarumma terug zou keren in doel voor de Premier League ontmoeting met Brighton op zaterdag, en voegde eraan toe: "Hij werkt goed, maar hij weet precies zijn rol. Absoluut geen twijfel. Zaterdag is Gigio plus 10."
City moest twee keer terugvechten in een wedstrijd waarin de agressieve aanpak van Brighton problemen veroorzaakte. Yalcouyé voltooide een goed uitgevoerde aanval om de bezoekers op voorsprong te zetten, maar Kovačić's precieze schot bracht de thuisploeg voor de pauze gelijk.
Rutter herstelde vervolgens de voorsprong van Brighton al 90 seconden na de rust, door te scoren na de terugleg van Jaouen Hadjam. City had moeite om een doorbraak te vinden totdat Cherki's vrije trap een beslissende deflectie van Reis kreeg, waardoor doelman Jason Steele verkeerd stond en de wedstrijd naar penalties werd gedwongen.
Maresca zei dat hij sinds hij de leiding had niet specifiek had geoefend op strafschoppen, maar was tevreden met de voorbereiding van het team en de spelers die deelnamen.
"Sinds ik hier ben, hebben we het nooit geoefend," zei hij. "Ze zijn allemaal goed, maar het gebeurt altijd dat degene die tijdens de wedstrijd scoorde, Kovačić, de penalty mist.
"Ik was blij met de manier waarop we de wedstrijd hebben gepland, de rotatie en heel blij met degenen die binnen het veld speelden."
Brighton-manager Fabian Hurzeler was teleurgesteld dat zijn ploeg de overwinning niet had veiliggesteld tijdens de reguliere speeltijd.
"Natuurlijk zijn we allemaal teleurgesteld. Ik denk dat de wedstrijd er voor ons was. Uiteindelijk is het verliezen van een penaltyserie altijd 50-50, maar het is natuurlijk een brute gevoel," zei hij.
"Het eerste doelpunt van City gebeurde omdat ze één man meer hadden, en het tweede doelpunt was een deflected schot, dus dat is ook voetbal. De momenten waren aan hun kant, niet aan onze kant."
Hurzeler prees ook de spelers die zich aanboden om penalties te nemen, ondanks het resultaat.
"Het is niet altijd gemakkelijk, dus ik zal nooit klagen als iemand een penalty mist. Ik heb groot respect voor iedereen die naar voren stapt en een penalty neemt."
Brighton moet nu snel hergroeperen, met de ploegen die zaterdag opnieuw in de Premier League tegen elkaar moeten spelen. City gaat verder, maar de bezoekers zullen het gevoel hebben dat ze genoeg hadden gedaan om te winnen voor de strafschoppen.