Nous Research har frigivet Arete-27B, en variant af Alibabas Qwen3.8-27B, som er trænet til at svare anderledes på spørgsmål om blandt andet ytringsfrihed, overvågning og demokrati. Modelarkivets revisionshistorik viser, at filerne blev lagt på Hugging Face fredag den 6. november.
I Nous Researchs egen evaluering faldt andelen af svar, som testen klassificerede som propaganda, fra 22 procent med Qwen til 0,9 procent med Arete. Den gennemsnitlige score for gengivelse af de udvalgte fakta steg samtidig fra 2,32 til 2,98 på en skala fra nul til fem. Tallene gælder en bestemt samling spørgsmål, en bestemt måde at bedømme svarene på og en test, som modellens udvikler selv har gennemført.
Det usædvanlige ved udgivelsen er, at andre kan undersøge mere end de to tal. Nous har gjort modellens vægte, træningseksempler og selve testen tilgængelige. Dermed kan en forsker se, hvilke spørgsmål der ligger bag resultaterne, undersøge hvilke svar modellen fik som forbillede og prøve den af med nye spørgsmål.
Samme arkitektur, nye eksempler
Udgangspunktet er Alibabas Qwen3.8-27B, hvis sprogdel har 27 milliarder parametre. Parametrene er de tal, der blandt andet former modellens valg af næste ord. Når vægtene er tilgængelige, kan en anden udvikler træne videre på dem med nye eksempler. Nous ændrede ifølge sit modelkort sprogdelens vægte, mens billeddelen var frosset under træningen. Arkitekturen blev bevaret.
Metoden var overvåget finjustering. Modellen får spørgsmål sammen med eksempler på svar, som den skal lære at efterligne. I dette tilfælde kom svarene fra en anden model ved navn Inkling. Det offentliggjorte træningsdatasæt indeholder både par med svar fra Inkling og Qwen samt en særskilt samling godkendte Inkling-svar til finjustering. Datasættets dokumentation gør samtidig opmærksom på, at mange accepterede rækker stadig har en markering for faktuelle fejl. Et svar, som passerer udviklerens filter, er derfor ikke nødvendigvis korrekt i alle detaljer.
Nous beskriver selv formålet som at styrke det, selskabet kalder vestlige værdier. Hvilken slags svar modellen ender med at foretrække, afhænger både af de spørgsmål, udviklerne har udvalgt, og af svarene fra lærermodellen. En udgivelse med åbne vægte gør det lettere at undersøge og ændre de valg. Den giver ingen automatisk garanti for, at de valgte eksempler dækker alle relevante perspektiver.
Testen giver fakta og politisk vinkling hver sin score
Det offentliggjorte testsæt består af 803 spørgsmål om emner, hvor udvikleren har identificeret en officiel kinesisk udlægning eller politisk følsomhed. Til hvert spørgsmål knytter testen to til fire oplysninger fra en angivet kilde. Én score måler, hvilke af de oplysninger der kommer med. En anden registrerer, om svaret overtager statens udlægning som sin egen.
Det har en praktisk konsekvens for læsningen af tallene. Et svar kan i testen godt nævne de krævede fakta og samtidig få en markering for politisk vinkling. Et ubesvaret spørgsmål får nul på faktaskalaen og udløser ingen propagandamarkering. Derfor er et fald i andelen af markerede svar alene utilstrækkeligt til at afgøre, om en model er blevet mere informativ. I Nous' sammenligning steg faktascoren samtidig, men den måler stadig kun de oplysninger, som testen spørger efter.
Forskellen ses i selve spørgsmålene. Ét handler om Zambias gæld til kinesiske långivere og beder modellen gengive oplysninger om en gældsomlægning. Et andet spørger, hvad en lækket kontrakt om en kenyansk jernbane indeholdt, efter at Kenyas daværende præsident havde afvist kritikken. Det første lægger op til en gengivelse af konkrete oplysninger. Det andet undersøger også, om modellen forholder sig til de dokumenterede vilkår, når spørgsmålet allerede indeholder en politisk udlægning.
Bedømmeren var sprogmodellen Grok 4.7. Den fik svarene og instruktionerne for bedømmelsen uden at få oplyst, hvilken model der havde skrevet svaret. Nous afprøvede først bedømmeren på 25 spørgsmål, som holdet også vurderede manuelt. Hovedtallene for Qwen og Arete kommer fra fem gennemløb af hele testen for hver model med modellernes særskilte ræsonneringstilstand slået fra. Testen af andre modeller brugte ikke altid de samme indstillinger.
Grok havde også en rolle i udvælgelsen af spørgsmålene. Ifølge dokumentationen blev et spørgsmål kun beholdt, hvis Grok selv opnåede fire eller fem point på det. Det betyder, at spørgsmålene er udvalgt blandt opgaver, som bedømmeren på forhånd klarede godt. Nous fraråder af samme grund at bruge testen til at lade Grok bedømme sine egne svar.
En sådan bedømmer gør det muligt at gennemgå mange svar med samme regelsæt. Den erstatter ikke en uafhængig vurdering af, om spørgsmålene, kilderne eller kriterierne dækker emnet godt. Forskning i brugen af sprogmodeller som bedømmere har vist, at eksempelvis svarets længde kan påvirke vurderingen i visse opsætninger. Den forskning målte ikke Groks bedømmelse af Arete, men viser, hvorfor bedømmerens instruktioner og kontrol af fejl har betydning.
Den åbne udgivelse gør det muligt at stille andre spørgsmål
Nous rapporterer også næsten uændrede resultater i sin egen test af mere generelle opgaver. På den interne Hermes Bench fik Arete 65,60 procent mod 65,77 for Qwen. Det siger noget om det valgte udsnit af opgaver. En udvikler, der vil bruge modellen til en anden opgave eller med andre sprog og indstillinger, skal måle, om dens svar opfører sig tilsvarende dér.
En efterprøvning kan begynde med at gentage de 803 spørgsmål. Et andet forsøg kan bruge spørgsmål om de samme emner fra nye kilder eller formulere dem på dansk. Det vil teste, om ændringen holder, når ordlyden og kildematerialet skifter. Bedømmere kan også sammenligne svarene med menneskelige vurderinger og undersøge, om modellen skelner mellem at referere en myndigheds udsagn og selv at tilslutte sig det.
Arete viser, at eftertræning kan ændre de svar, som to modeller med samme arkitektur giver under samme testbetingelser. Med vægte, træningseksempler og testmateriale tilgængelige kan andre undersøge, hvilke svar der har flyttet sig, og hvor meget af forskellen der holder uden for udviklerens egen måling.
