El exdelantero del Everton había empatado sus dos primeros partidos, primero ganando un punto en Coleraine antes de que su equipo fuera retenido por Carrick Rangers. Su tan esperado debut en casa parecía dirigirse hacia otro resultado frustrante después de que Bangor empatara en los últimos minutos.
Jordan Stewart había dado a Glentoran la ventaja, celebrando su reciente extensión de contrato con el gol inicial. Pero Ben Cushnie empató para Bangor en el minuto 83, preparando un final tenso.
Weatherup proporcionó el momento decisivo con tres minutos restantes, corriendo hacia un balón largo antes de finalizar entre las piernas del portero Patrick Solis Grogan.
Ferguson estaba encantado de finalmente conseguir sus primeros tres puntos frente a los aficionados locales.
"Estoy encantado de conseguir mis primeros tres puntos en casa, estoy absolutamente feliz," dijo.
"Los chicos siguieron luchando hasta el final."
El primer partido programado del entrenador, contra Ballymena United el 24 de octubre, había sido pospuesto debido a la tormenta Boelo y un campo anegado. Su eventual debut fue como visitante en Coleraine, donde Stewart anotó un gol del empate en los últimos minutos para asegurar un empate 1-1.
Siguió un encuentro sin goles en Carrick Rangers, dejando a Ferguson aún esperando una victoria antes del encuentro del viernes con Bangor.
El gol de Stewart había puesto a Glentoran en una posición prometedora, pero Ferguson no estaba contento con cómo su equipo respondió mientras los visitantes avanzaban tras el descanso.
El entrenador sintió que su equipo había permitido que Bangor regresara al partido al retroceder demasiado, con el exjugador de Glentoran Cushnie aprovechando para igualar el marcador.
Weatherup, introducido desde el banquillo en lugar de Pat Hoban, luego proporcionó el remate que el equipo de Ferguson necesitaba. El gol del joven de 18 años fue particularmente satisfactorio para su entrenador, quien elogió el carácter mostrado por sus jugadores después del gol del empate.
"Mostramos buen carácter. Mostramos un poco de resiliencia," dijo Ferguson.
"Nos pusieron bajo presión en la segunda mitad, pero eso sucederá. No vas a dominar un partido durante todo el tiempo en ningún nivel.
"Estaba encantado de que los chicos mostraran carácter y resiliencia para regresar al partido."
El resultado le da a Ferguson su primera victoria en Irlanda del Norte después de una difícil introducción a la Premiership irlandesa, aunque sabe que todavía queda mucho trabajo por hacer.
Glentoran sigue a cierta distancia de los equipos líderes, con Linfield y Coleraine ganando ambos el viernes. Larne también recogió tres puntos, dejando al equipo de Ferguson con terreno que recuperar si quiere desafiar hacia la parte superior de la tabla.
Se ha sentido alentado por el trabajo defensivo en sus partidos iniciales, pero quiere ver más de sus jugadores en posesión y en el último tercio.
"Creo que necesitamos mejorar en general," dijo.
"No estamos concediendo muchos goles, pero simplemente tenemos que crear más.
"Esa es la parte más difícil del juego, pero nos vemos sólidos y eso es lo principal.
"Estoy contento con el grupo y la liga está muy pareja, de arriba a abajo."
Ferguson no está mirando demasiado hacia adelante mientras se adapta a su nuevo trabajo, prefiriendo concentrarse en construir impulso un partido a la vez.
"Solo tenemos que seguir adelante. Creo que son siete u ocho partidos invictos ahora," añadió.
"Tenemos que seguir adelante y seguir ganando. Somos un gran club y los aficionados quieren que sigamos ganando, y estoy contento de que hoy conseguimos los tres puntos para ellos."
La victoria le da a Ferguson el inicio en casa que había estado esperando y una plataforma sobre la cual construir mientras Glentoran busca cerrar la brecha con los equipos que están por encima de ellos.