Begyndelsen til denne foreningsvirksomhed kan imidlertid føres helt tilbage til årene efter den Sønderjyske krig i 1864. På grund af den nationalfølelse, som gik gennem det danske folk efter fornedrelsen, hvor vi mistede store dele af Sønderjylland, blev der rundt om i landet dannet en masse skytteforeninger, en foreningsvirksomhed, der allerede var begyndt efter krigen 1848-50.

En sådan skytteforening blev også stiftet på Viborg Nørremark og stifteren var en hjemvendt soldat ved navn Peter Stoholm, som efter at være vendt hjem fra krigen, fik plads på Loldrupgaard og som senere bosatte sig på Viborg Nørremark.

Hans efterkommere har man gennem de godt 120 ar, der nu er gået, kunnet følge som interesserede og ivrige dyrkere inden for foreningen.

Det var vel denne forening, der gav inspiration til, at tanken om at bygge et forsamlingshus opstod. Hidtil havde man som følge af den på egnen stærk stigende foreningsvirksomhed, der var på Nørremarken, benyttet sig af en storstue på Højgaard. Der var således blevet startet en afholdsforening med et stort medlemstal, ligesom der også var oprettet en husmandsforening med hjemsted på Nørremarken.

Efter at en kreds af beboere, hvoraf især skal nævnes Stine i Tougaard og Sine Stoholm, svigerdatter af før omtalte Peter Stoholm, som gik fra hus til hus og tegnede aktier til et kommende forsamlingshus, havde skabt økonomisk basis for, at huset kunne bygges, kunne man den 29. november 1907 holde indvielsesfest for Nørremarkens Forsamlingshus.

Dette hus, der lå på den vestlige side af Aalborgvej, et stenkast fra det nuværende forsamlingshus, fik i de 50 år, det eksisterede, en stor kulturel betydning for beboerne nord for Viborg, ikke mindst inden for gymnastikkens område. Her blev der dyrket gymnastik af såvel unge som ældre ved hjælp af dygtige og interesserede ledere fra egnen, hvoriblandt skal nævnes: P.C.Stoholm, Bertel Moustsen, Peder Tougaard, Karl Hansen, Peder Andersen, Carl Emil Stoholm og ægteparret Mette og Otto Thorsager, der alle har gjort et stykke fortjenstfuldt arbejde i den gamle forening. De satte ligeledes en speciel ære i, at bringe gymnastikforeningens gymnaster i en sådan træning, at de hvert år kunne deltage i amtsstævnet i Rødkærsbro.

Kristian Moustsen, som i årene lige efter krigen var formand for foreningen, fortæller, at hans far, forlængst afdøde Bertel Moustsen, der uden delingsføreruddannelse en overgang ledede gymnastikken, inden han skulle til gymnastik i forsamlingshuset, i enrum selv gennemgik og udførte alle øvelserne hjemme på Dorthealund.

Flere af Nørremarkens Gymnastikforenings gymnaster har da også drevet det vidt. Den nu 76 årige (1986) gårdejer, Ejvind Stoholm, som er sønnesøn af foreningens stamfader, var i flere år med, da Viborg gymnastikforenings elitehold gjorde Viborggymnastikken landskendt.

Det var imidlertid ligesom den næsten 100 årige forenings love og formålsparagraffer ikke passede til tiden og der var derfor stemning for at nedlægge den gamle forening og stifte en ny.
På en ekstraordinær generalforsamling onsdag den 2. december 1936 blev den gamle Skytte- og Gymnastikforening nedlagt og der blev stiftet en ny forening under navnet:

Formålsparagraffen var: "at samle Ungdommen til Foredrag, Gymnastik, Oplæsning m.m.".

Snart kom den anden verdenskrig og den tyske besættelse, som satte et dystert præg på al foreningsvirksomhed landet over. Krigen havde også stor indflydelse på livet i Nørremarkens Ungdoms- og Gymnastikforening, idet mørkelægning, mangel på brændsel og så videre gjorde det svært at fortsætte aktiviteterne, det være sig gymnastik som anden festlighed.
Mette Thorsager, der gennem 3o år ledede gymnastik i foreningen, fortæller, hvor vanskeligt det var at fyre salen op til gymnastikaftenerne. Forsamlingshusets tykmavede kakkelovn protesterede over det dårlige brændsel, den blev fodret med, ved at fylde gymnastiksalen med ildelugtende røg.
En af de fem vanskelige års foreningsformænd, Kristian Tougaard, fra Tougaardslund, beretter om disse forhold med spærretider og varemangel.
Til foreningens årlige lotterispil kunne man med skam kun skaffe erstatningsting så som lommespejl og kam, som enhver ung mand med respekt for sig selv dengang havde i vestelommen.
Kristian Tougaard mindes ligeledes, at den sidste krigsvinter, da foreningen havde landsformanden på besøg, var temperaturen i salen nær nulpunktet og formanden måtte stå i overfrakke med ryggen op af kakkelovnen, mens tilhørerne sad omkring ham og knagfrøs.
Men på trods af, at krigen og den tyske besættelse lagde en trykkende og knugende stemning over hverdagen, blev foreningslivet holdt i gang , og i Nørremarkens Ungdoms- og Gymnastikforening blev der dyrket såvel dilettant som folkedans. For dilettantens vedkommende var det P. Møller i Tougaard og Emmy Nørgaard, der stod for indstuderingen og når vinterens anstrengelse skulle vises på de skrå brædder, kan mange vel endnu mindes P. Møllers basstemme, som fra sufflørkassen rungede ud over hele salen. Folkedansen blev entusiastisk ledet af Karl Emil Stoholm, som var en kapacitet på dette område.
Der blev også afholdt nogle årlige foreningsballer, som dog kun måtte annonceres som "Selskabelige Sammenkomster", ligesom årets julefest med sanglege hørte med til aktiviteterne.

(I jubilæumsåret 1986 blev der i Nørremarkens Forsamlingshus afholdt en stor jubilæumsfest med bl.a. dilettant , som netop tog udgangspunkt
 i "De vanskelige Krigsår" . Manuskriptet hertil blev lavet af Erik Jørgensen - se billeder og  manuskript

Efter krigen kom der igen gode år for foreningen, som fik stor tilslutning af egnens unge og det var nu ligesom, der kom en ny struktur indenfor idrætsforeningerne. Håndbold, der var en ret ny idrætsgren, begyndte far alvor at gøre sig gældende og Nørremarkens Ungdoms- og Gymnastikforenings medlemmer viste stor interesse for denne sportsgren, som blev startet af Lars Jørgensen fra Engelsborg, der en overgang var formand for foreningen. Gennem tiden har man haft forskellige håndboldbaner, men i første omgang blev der spillet på en mark neden for smedien i Løvelvad og siden lejede foreningen sig ind på et stykke mark hos Frits Vissing på "herregården" Nørgaard. Men da "herremanden" opdagede, at håndbold var en sport, som også piger dyrkede, blev lejemålet inddraget.

Den længst benyttede håndboldbane, som også var den bedste, var et stykke jord, som P. Møller i Tougaard lejede ud til foreningen for fem kroner om året. Det var her, foreningen for første gang fik sit eget omklædningsrum, idet der af Viborg Andelsmejeri blev indkøbt to gamle iskiosker til 1o kroner. Kioskerne blev, ved hjælp af nogle snilde medlemmer, omdannet til deres nye formål.

Der skete imidlertid også andre forbedringer for foreningen. I 1957 blev det 50 år gamle forsamlingshus eksproprieret grundet på Aalborgvejens udvidelse og der var en overgang udsigt til, at Nørremarkens foreningsliv skulle blive husvild.

Daværende gårdejer, Hedvig Laursen, Loldrupgaard, skænkede generøst en ny grund i bøgelunden på den østlige side af vejen, som gjorde det muligt, stadig at bevare et Nørremarkens forsamlingshus.

Årene gik nu slag i slag for Nørremarkens Ungdoms- og Gymnastikforening, hvis bestyrelse bestod af syv medlemmer, hvoraf der mindst skulle være to damer og to blandt foreningens ældste medlemmer. Der holdtes som regel mellem seks og syv bestyrelsesmøder om året samt den årlige ordinære generalforsamling.

Gymnastikken var stadig vinterens vigtigste aktivitet, men der blev også dyrket folkedans, selv om det aldrig blev noget tilløbsstykke. Dilettant, som også hørte til vinterens beskæftigelse, blev også bibeholdt. I vinteren 1961/62 blev der således indstuderet et stykke, der hed "Husker du i høst" med den noget særprægede instruktør, Emil Frandsen, der havde en fortid som omrejsende skuespiller.

Ved generalforsamlingen i november 1961 afløste Mogens Thorsager, Nørremarken, Erik Dalsgaard, Kistrup, på formandspladsen. Det blev således en slægtning af den gamle forenings stamfar, der besad formandspladsen, da Nørremarkens Ungdoms- og Gymnastikforening holdt 25 års jubilæum.

Jubilæet blev fejret i det næsten nye forsamlingshus med lærer Gunnarsen, Hammershøj, som festtaler, ligesom to af foreningens gamle støtter og gymnastikledere, Otto Thorsager og P. Thougaard, begge havde ordet, for at gratulere foreningen med arbejdet.

Det var nu den unge generation, der tog sig af gymnastikledelsen, idet Lis Thorsager og Niels Thougaard henholdsvis havde pige- og karlegymnastikken, mens Mette Thorsager, der havde 30 år bag sig som gymnastikleder, tog sig af børnegymnastikken.

Foreningens aktiviteter var i de glade 60'ere i en rivende udvikling, det være sig såvel vinter- som sommerarrangementerne med
blandt andet mange velbesøgte fester.

Økonomien var imidlertid foreningens ømme punkt. Man skyldte således efter den tids målestok forsamlingshuset et større beløb, som gav anledning til en noget stormende generalforsamling, der efter en heftig debat endte med, at foreningens klaver blev solgt til forsamlingshuset for 475 kr . Efterhånden stabiliseredes økonomien, så man allerede året efter havde balance i foreningskassen.

Foreningens medlemsskare, der udpræget havde været landboungdom, kom nu også til at omfatte byfolk, som mest kom fra den nordlige del af Viborg eller folk, som havde deres rod fra Nørremarken.

Som årene gik, fik de store idrætshaller en vis indvirkning på foreningens medlemmer, idet det ellers ret nye forsamlingshus ikke kunne klare sig i konkurrencen med de moderne badeforhold, som idrætshallerne indbød til. Sidst i 1960'erne ophørte gymnastikken, ligesom såvel folkedans som dilettant blev historie.

For foreningen kom der nu nogle stille år, hvor kun håndbold var på programmet. I denne sportsgren var foreningen til gengæld godt med og især året 1966 bør nævnes som et særligt succesfyldt år.

En del af foreningens mest garvede og interesserede medlemmer besluttede at danne et såkaldt "superhold". Efter dygtig og hård træning gik holdet fra sejr til sejr og selv om Vestermarken hentede forstærkning hjem fra øst og vest, blev de tromlet ned og Nørremarkens superhold blev puljevinder, ligesom det også blev såvel amts som landsdelsvinder. Ved landsmesterskaberne, som afholdtes i Borrevejle i øsende regnvejr, blev "de fra Nørremarken af" landets trediebedste håndboldspillere.

I 1975 besluttede man så at flytte foreningens aktiviteter ind til Viborg by, hvor de fleste af medlemmerne var fra. Til gengæld for gymnastikken, der var udgået, oprettede man en fodboldafdeling, således at man nu samlede sig om fodbold og håndbold samt fester. Nogle år før begyndte man at afholde træning til idrætsmærket.

Denne struktur gjorde, at foreningens vedtægter måtte ændres og ved generalforsamlingen i 40 året for foreningens start ændredes den gamle formålsparagraf til at blive sålydende:

 "Foreningens formål er at fremme det frie folkelige ungdomsarbejde. Dette søges opnået ved idræt og sammenkomster foreningsmedlemmer imellem".

Foreningens navn "Nørremarkens Ungdoms – og Gymnastikforening" blev dog bibeholdt, kun slettede man navnet FREMAD og gik over til at bruge den moderne forkortelsesmåde N.U.G.F.

40 års jubilæet, der blev holdt under Ida Thorsagers formandsskab, blev festligholdt i det daværende Forsvarsbrødrenes hus i Engelsborg med blandt andet indbudte gæster fra de foreninger, N.U.G.F. var tilsluttet, så som Viborg Omegns Boldspil Union, Viborg Amts Gymnastikforening, Jydsk Håndboldforening og De samvirkende Idrætsklubber.

I sommeren 1985 blev der oprettet en træningsbane for både håndbold og fodbold i området mellem Nordre skole og hovedvej 13. Med både fysisk og økonomisk hjælp fra blandt andet N.U.G.F. fik man installeret et lysanlæg, som blev taget i brug 1986. Foreningen håbede at træningsbaneproblemet var løst langt ud i fremtiden. Der blev ligeledes i jubilæumsåret projekteret et længe savnet klubhus ved Nordre Skole. Det blev taget i brug i løbet af 1987.

Foreningen begyndte i disse år også at udgive et foreningsblad, hvis forside prydes af N.U.G.F.s smukke bomærke. Bladet udsendtes  fire gange årligt .