NVIDIA præsenterer onsdag den 21. oktober en ny serie Nemotron-modeller, der skal løse et mindre synligt problem i virksomheders AI-systemer: at finde de rigtige oplysninger, før en sprogmodel begynder at formulere et svar.

Pakken omfatter modeller til søgning, rangering af søgeresultater og udtræk af indhold fra dokumenter. Den retter sig blandt andet mod materiale, hvor en væsentlig del af informationen ligger i tabeller, diagrammer eller billeder frem for almindelige tekstafsnit.

I dagens præsentation fremhæver NVIDIA, at bedre søgning kan mindske det antal forsøg, en AI-agent må bruge på at finde relevant materiale. Virksomheden rapporterer omkring 13–14 procent lavere forbrug af agent-tokens i udvalgte forsøg, når en ekstra model sorterer de fundne dokumenter. Det er NVIDIAs egne målinger, ikke en uafhængig test eller et løfte om samme besparelse i enhver virksomhed.

Søgemaskinen bag svaret

En AI-assistent, der svarer på spørgsmål om en virksomheds egne oplysninger, skal ofte slå noget op. Den kan ikke nøjes med det, den lærte under sin oprindelige træning, hvis spørgsmålet handler om en nylig rapport eller en intern vejledning.

Det gør søgningen til en selvstændig opgave. Før systemet kan forklare en ændring i et tal, skal det finde den rigtige rapport, den rigtige periode og det afsnit, der faktisk beskriver ændringen. Et velformuleret svar bliver ikke bedre end det materiale, det bygger på.

Et tænkt eksempel er en medarbejder, der spørger til en maskines tilladte belastning. En generel produktbeskrivelse kan ligne et relevant resultat, men det afgørende tal står måske i en tabel for netop den variant, medarbejderen bruger. Her er sproglig lighed ikke nok. Systemet skal finde den præcise sammenhæng.

Dokumenter kan søges som både tekst og billeder

Modelkortet for Nemotron 3.5 Embed 8B beskriver en model, som kan behandle tekst, billeder af dokumentsider eller en kombination. Forespørgslen gives som tekst, mens resultatet af modellens bearbejdning er en talrepræsentation, der kan bruges til at søge efter beslægtet indhold.

Kortet angiver 8,38 milliarder parametre og evaluering af tekstsøgning på 34 sprog, herunder dansk. Billedbaseret søgning er evalueret på et andet sæt med 18 sprog, hvor dansk ikke er nævnt. De to lister bør derfor ikke blandes sammen.

Modelkortet angiver udgivelsesdatoen 20. oktober. Nyheden i dag er den samlede præsentation og dokumentation af serien; det betyder ikke, at hver enkelt fil først blev tilgængelig onsdag.

For danske virksomheder er sprogopdelingen en praktisk begrænsning at kende. At dansk indgår i én evaluering, dokumenterer ikke automatisk kvaliteten på danske scannede regnskaber, tekniske tegninger eller særlige fagudtryk. Den konkrete dokumenttype skal stadig afprøves.

Et ekstra trin vælger de bedste fund

Nemotron 3.5 Rerank har en anden rolle end den første søgemodel. Den vurderer et spørgsmål sammen med hvert af de dokumenter, der allerede er fundet, og giver et grundlag for at ændre rækkefølgen.

Det kan sammenlignes med forskellen mellem at hente en bunke mulige bilag frem og at beslutte, hvilke der faktisk besvarer spørgsmålet. Første trin skal finde kandidater; det næste skal prioritere dem.

Det er relevant, fordi en AI-model ikke nødvendigvis bliver mere præcis af at få mere materiale. Hvis de vigtigste oplysninger bliver blandet med mange næsten relevante afsnit, kan det gøre opgaven sværere. En ekstra sortering forsøger at forbedre udvalget, før svaret skrives.

Men relevans er ikke det samme som sandhed. Et dokument kan være meget relevant og samtidig være forældet, forkert eller erstattet af en nyere version. En virksomhed har derfor stadig brug for styr på dokumenternes status og oprindelse. Den opgave forsvinder ikke, fordi rangeringen bliver bedre.

PDF-sidens opbygning er en del af indholdet

Den tredje del er Nemotron 3.5 Parse, som skal omdanne dokumentbilleder til maskinlæsbar information. NVIDIA beskriver en model med omkring 631 millioner parametre til at udtrække indhold og struktur fra sider.

Struktur er vigtig, når en værdi kun giver mening sammen med en kolonneoverskrift eller en enhed. Hvis et system læser tallet korrekt, men forbinder det med den forkerte række, kan resultatet stadig være misvisende.

Et illustrativt eksempel er en prisliste med flere årstal og flere produktvarianter. Alle ordene kan være genkendt korrekt, men hvis rækkefølgen går tabt, kan en efterfølgende assistent komme til at beskrive sidste års pris som den aktuelle. Det er en fejl i grundlaget, som et flot formuleret svar kan gøre sværere at opdage.

Derfor bør en praktisk afprøvning kontrollere udtrækket mod originalsiden. Især tabeller, fodnoter, enheder og negative tal fortjener opmærksomhed. Det er Elektronikas vurdering af et relevant kontrolbehov, ikke et dokumenteret fejlmønster i den nye model.

Mindre modeller ændrer driftsregnestykket

Serien indeholder også en komprimeret 1B-variant i NVFP4-format. Den giver udviklere endnu en mulighed, når de skal afveje modelstørrelse, hardware og kvalitet.

Det betyder ikke, at den mindste model altid er den billigste løsning samlet set. Hvis den kræver flere efterfølgende søgninger eller mere manuel kontrol, kan en tilsyneladende besparelse flytte arbejde til andre dele af systemet. Omvendt kan en større model være unødvendig til en enkel og velordnet dokumentsamling.

En relevant sammenligning bør derfor følge hele opgaven: Hvor ofte findes den korrekte kilde, hvor lang tid tager det, og hvor meget kontrol kræves bagefter? Et isoleret hastighedstal kan ikke besvare alle tre spørgsmål.

Adgangsrettigheder er et andet kontrolpunkt. Et søgeresultat må ikke afsløre indhold, som medarbejderen ikke har lov til at se, blot fordi en model kan finde det. Søgning, dokumentadgang og visning af kilder skal derfor tænkes sammen i den konkrete løsning. Det er et krav til systemets indretning, ikke noget man kan afgøre ud fra en models benchmarkplacering.

Hvad lanceringen betyder i praksis

Elektronikas vurdering er, at nyheden understreger en vigtig udvikling: Konkurrencen om virksomheders AI handler ikke kun om modellen, der skriver svaret. Den handler også om de specialiserede værktøjer, der leverer belægget.

For en organisation med mange dokumenter kan det være et mere konkret problem end at vælge den mest imponerende chatbot. Den skal kunne finde den gældende instruktion, vise den relevante passage og gøre det muligt for et menneske at kontrollere konklusionen.

NVIDIAs nye modeller giver flere byggesten til den opgave. Om de forbedrer en bestemt dansk løsning, kan først afgøres med virksomhedens egne dokumenter, realistiske spørgsmål og en sammenligning med det system, der allerede bruges.