L'ancien attaquant d'Everton avait fait match nul lors de ses deux premiers matchs, obtenant d'abord un point à Coleraine avant que son équipe ne soit tenue en échec par Carrick Rangers. Son très attendu premier match à domicile semblait alors se diriger vers un autre résultat frustrant après que Bangor ait égalisé en fin de match.
Jordan Stewart avait donné l'avantage à Glentoran, célébrant son récent renouvellement de contrat avec le premier but. Mais Ben Cushnie a ramené Bangor à égalité à la 83e minute, mettant en place une fin tendue.
Weatherup a fourni le moment décisif avec trois minutes restantes, s'élançant sur un long ballon avant de finir entre les jambes du gardien de but Patrick Solis Grogan.
Ferguson était ravi de enfin obtenir ses trois premiers points devant les supporters à domicile.
"Je suis ravi d'obtenir mes trois premiers points à domicile, je suis absolument comblé," a-t-il déclaré.
"Les garçons ont continué à se battre jusqu'à la toute fin."
Le premier match programmé de l'entraîneur, contre Ballymena United le 24 octobre, avait été reporté en raison de la tempête Boelo et d'un terrain détrempé. Son premier match a finalement eu lieu à Coleraine, où Stewart a marqué un égaliseur tardif pour assurer un match nul 1-1.
Un match sans but contre Carrick Rangers a suivi, laissant Ferguson toujours en attente d'une victoire avant la rencontre de vendredi avec Bangor.
Le but de Stewart avait mis Glentoran dans une position prometteuse, mais Ferguson n'était pas satisfait de la façon dont son équipe a réagi alors que les visiteurs poussaient en avant après la pause.
L'entraîneur a estimé que son équipe avait permis à Bangor de revenir dans le match en reculant trop profondément, l'ancien joueur de Glentoran Cushnie profitant de la situation pour égaliser.
Weatherup, introduit depuis le banc à la place de Pat Hoban, a ensuite fourni la finition dont l'équipe de Ferguson avait besoin. Le but du jeune de 18 ans était particulièrement satisfaisant pour son entraîneur, qui a loué le caractère montré par ses joueurs après l'égalisation.
"Nous avons montré un bon caractère. Nous avons montré un peu de résilience," a déclaré Ferguson.
"Ils nous ont mis sous pression en seconde période mais cela arrive. Vous ne dominerez pas un match pendant toute sa durée à aucun niveau.
"J'étais ravi que les garçons montrent du caractère et de la résilience pour revenir dans le match."
Le résultat offre à Ferguson sa première victoire en Irlande du Nord après une introduction difficile à la Premiership irlandaise, bien qu'il sache qu'il reste encore beaucoup de travail à faire.
Glentoran reste à une certaine distance des équipes de tête, Linfield et Coleraine ayant toutes deux gagné vendredi. Larne a également récolté trois points, laissant l'équipe de Ferguson avec du terrain à rattraper si elle veut contester en haut du tableau.
Il a été encouragé par le travail défensif lors de ses premiers matchs mais souhaite voir plus de ses joueurs en possession et dans le dernier tiers.
"Je pense que nous devons nous améliorer dans l'ensemble," a-t-il déclaré.
"Nous ne concédons pas beaucoup de buts, mais nous devons simplement créer plus.
"C'est la partie la plus difficile du jeu, mais nous avons l'air solide et c'est le principal.
"Je suis heureux avec le groupe et la ligue est très serrée, de haut en bas."
Ferguson ne regarde pas trop loin devant lui alors qu'il s'installe dans son nouveau poste, préférant se concentrer sur la construction de l'élan un match à la fois.
"Nous devons juste continuer. Je pense que cela fait sept ou huit matchs sans défaite maintenant," a-t-il ajouté.
"Nous devons continuer et continuer à gagner. Nous sommes un grand club et les fans veulent que nous continuions à gagner, et je suis heureux que nous ayons obtenu les trois points pour eux aujourd'hui."
La victoire offre à Ferguson le départ à domicile qu'il attendait et une plateforme sur laquelle construire alors que Glentoran cherche à réduire l'écart avec les équipes au-dessus d'eux.