Hij speelde zondagleaguevoetbal in het noordoosten, samen met Bobby Davison, toen een toevallige ontmoeting met een directeur van Hartlepool United de deur opende naar een carrière die hem uiteindelijk in het management zou brengen.
Het opmerkelijke deel, legde Brown uit aan Football Presse, was dat twee spelers van hetzelfde amateurteam professionals werden.
"Het was een zeldzaamheid dat je één speler uit zondagleaguevoetbal naar de professionele rangen zag gaan. Maar om er twee uit hetzelfde team te krijgen was ongeëvenaard. Niemand heeft het eerder gehoord, weet je.
"En ik denk niet dat het scoutingnetwerk en het systeem in die dagen ergens in de buurt kwamen van wat het tegenwoordig is. Je kunt, of je het leuk vindt of niet, het maakt niet uit, weet je. Alle ogen zijn op iedereen gericht. Elke wedstrijd wordt miljoenen keren bekeken door wie dan ook, weet je.
"Al deze studenten die van de universiteit komen met diploma's, ze willen in het voetbal komen, en ze moeten zitten en voetbal kijken voor een tv-scherm om te proberen te scout en te bewijzen wat ze waard zijn.
"Maar vroeger was het één man en zijn hond langs de lijn. En hij kon gewoon een local uit de pub zijn. Het kon je beste vriend zijn. Maar het kon ook de directeur van Hartlepool United zijn. En dat was het voor mij, weet je."
Brown had al de teleurstelling ervaren van het proberen binnen te komen in het professionele spel. Zijn proefperiode bij Sunderland leidde niet tot een contract, maar hij volhardt dat het geen kwestie was van het niet indruk maken op de club.
"Ik had proefperiodes bij Sunderland, maar ik was te oud. Ik was 18 toen ik een proefperiode bij Sunderland had, en ik faalde niet in de proefperiode. Ik was gewoon 18, en de opleiding begon op 16, dus je was gewoon te oud, helaas."
Het was een frustrerende hindernis voor een jonge speler die hoopte zijn weg te vinden in het professionele voetbal. Maar Brown speelde nog steeds, en de kans die hij nodig had, kwam uiteindelijk via een onwaarschijnlijke route.
"Een directeur van Hartlepool United was op een zondagmiddag zijn hond aan het uitlaten. En Bobby Davison had de sprong al gemaakt, weet je. Hij was al weg, en iedereen was jaloers daarop, ik was een van hen.
"Dus van een buitenstaander die naar binnen kijkt, zou je waarschijnlijk naar mij kijken en zeggen: 'Ja, hij is oké. Zondagleaguevoetbal. Wat is hij qua karakter? Kom op, we brengen je naar beneden en kijken naar je in de professionele rangen.' En dat is precies wat de directeur deed.
"Hij nodigde me uit voor een training op donderdagavond met hun reserves, en na de training tekende ik een niet-contractvorm, die je in die tijd aan een voetbalclub bond. En ik speelde toen in een betere competitie met betere spelers, en het maakte me beter. Het was zo simpel als dat."
Het contrast tussen zondagleaguevoetbal en het professionele spel ging niet alleen over de kwaliteit van de spelers. De velden zelf konden een test zijn, vooral wanneer je naar uitwedstrijden ging waar de faciliteiten en speeloppervlakken minder dan ideaal waren.
Brown herinnert zich een bepaald gebied in South Shields, bekend als Bent's Park, waar de locatie tussen het park en de zee de spelers blootstelde aan de elementen.
"De velden waarop we speelden waren zondagleague, daar is geen twijfel over. Maar er was één gebied in South Shields, dat moet gezegd worden, het stond bekend als Bent's Park. En Bent's Park was een stuk grond tussen het park zelf en de zee. Dus je kreeg het beste van al het weer, soms ook het slechtste ervan.
"Maar als je een zonnige dag vond, als je geen gras op die velden kon laten groeien, had je problemen. Je was geen groundsman als je geen gras op die velden kon laten groeien. Dus er was altijd een fatsoenlijke standaard. Maar dan had je zeker uitwedstrijden waar je tegenop zag, weet je. Je was waarschijnlijk op een schoolveld dat geen conciërge had die voor het terrein zorgde, en al die dingen komen in het spel.
"Maar ik dacht dat het een test van mentaliteit was, het was een test van het karakter van mensen. Als je daar doorheen kunt komen en een professionele voetballer kunt worden, zeg ik niet dat je iets moet hebben, maar je moet iets hebben om van zondagleague naar de professionele rangen te gaan, wat omringd is door zeer goede spelers."
Die overgang bracht Brown in een kleedkamer met spelers die zich al op hogere niveaus hadden gevestigd. Hartlepool bood de kans om te leren van ervaren professionals, terwijl de scoutingoperatie van de club spelers buiten de traditionele paden de kans gaf om zichzelf te bewijzen.
Onder de mensen die Brown zich bijzonder goed herinnert, was Kenny Sutherland, die betrokken was bij het identificeren van talent en een regelmatige aanwezigheid was bij de training.
"Ik herinner me altijd Kenny Sutherland. Hij was de man die een soort van het scouting systeem leidde, maar hij was ook bij elke training. Dus je trainde op dinsdag- en donderdagavonden totdat je pro was. En hij was bij elke training die de reserves deden, de niet-league spelers deden.
"Maar dan, wanneer je in de professionele rangen komt, zie je hem ook bij elke training van het eerste team. Dus mensen zoals hij zijn onschatbaar.
"Het aantal mensen dat er was van de tijd dat ik 19, 20 tot 25 was, de spelers kennen elkaar nog steeds zo goed. En Kenny was daar en hij gaf een toespraak. Dus hij is duidelijk een intrinsiek onderdeel van een netwerk of een opzet die alleen maar verder gaat dankzij mensen zoals hij."
Voor Brown was de ervaring van het binnenkomen in het professionele voetbal ook een les in hoeveel een speler kan leren van de mensen om hem heen. Zijn tijd bij Hartlepool zou uiteindelijk vijf seizoenen en ongeveer 220 optredens omvatten, een reeks van consistentie die aantoonde dat hij zijn plaats had verdiend.
Maar de oorspronkelijke doorbraak bleef het bepalende moment: een kans aangeboden door iemand die bereid was verder te kijken dan het voor de hand liggende en een zondagleaguevoetballer een kans te geven.
Het verhaal van Brown herinnert eraan dat voetbalcarrières niet altijd beginnen met een academiecontract of een zorgvuldig uitgestippelde voortgang door de jeugdteams. Soms beginnen ze op een gewone zondagmiddag, op een lokaal veld, wanneer de juiste persoon toevallig kijkt.
Voor de jonge Brown was die persoon een directeur van Hartlepool United die zijn hond uitliet. De kans die hij bood, zou alles veranderen.
Houd deze week onze 5-delige serie met Phil Brown in de gaten terwijl we zijn bijna 50 jaar in het professionele spel bespreken.