Google samler tirsdag den 20. oktober den offentlige sektor til Public Sector Summit i Washington, D.C. Ifølge arrangørens programomtale er AI-agenter, konkrete myndighedserfaringer og Gemini for Government blandt omdrejningspunkterne.

Det er en konference med et kommercielt formål: Google vil vise, hvordan selskabets teknologi kan bruges i offentlige organisationer. Ved denne artikels udgivelse omtaler vi det annoncerede fokus, ikke nye resultater fra dagens præsentationer. Der er heller ikke grundlag for at beskrive arrangementet som en dansk produktlancering.

Den interessante techvinkel er skiftet fra en chatbot, som blot svarer på et spørgsmål, til software, der indgår i en arbejdsgang. For en borger kan forskellen være, om en besked blot bliver besvaret, eller om den faktisk når frem til den medarbejder, der kan løse problemet.

Chicago viser en konkret anvendelse

Et eksisterende eksempel er Chat with CTA, som Google beskriver i en kundecase om Chicagos trafikselskab. Løsningen er udviklet sammen med Quantiphi og skal hjælpe passagerer med information og indberetninger.

Ifølge casen understøtter tjenesten engelsk, spansk, polsk, forenklet kinesisk og filipino/tagalog. Medarbejdere gennemgår indberetningerne og svarer, når det er nødvendigt. Det er dermed ikke en beskrivelse af en fuldautomatisk transportdrift, men af en digital indgang til service og opfølgning.

Google angiver en forbedring på 16 procent i gennemførte samtaler efter lanceringen. Det er leverandørens oplysning, og målepunktet bør ikke forveksles med, at 16 procent flere passagerproblemer nødvendigvis er løst. En samtale kan være afsluttet, uden at man dermed har dokumenteret hele forløbet fra henvendelse til handling.

Sensorer kan være lige så vigtige som samtaler

En anden Google-case om MTA i New York handler om TrackInspect. Her blev Pixel-telefoner monteret på metrotog for at indsamle lyd og vibrationer. Data blev brugt til at udpege mulige fejlsteder, som inspektører derefter undersøgte fysisk.

Google oplyser, at prototypen i den første pilotfase identificerede 92 procent af de fejlsteder, som menneskelige inspektører fandt. Tallet beskriver en bestemt afprøvning og sammenligning. Det er ikke en garanti for samme resultat på alle togstrækninger eller et mål for alle typer fejl.

Begge projekter er baggrund for dagens tema, ikke nye lanceringer den 20. oktober. De viser samtidig to forskellige roller for AI: at gøre kontakten til en organisation lettere og at hjælpe fagfolk med at prioritere deres opmærksomhed.

Et svar er ikke det samme som en afsluttet opgave

Elektronikas vurdering er, at offentlige AI-projekter bør bedømmes på hele forløbet. Forestil dig en passager, der melder en defekt elevator. En venlig besked fra en digital assistent er nyttig, men den afgørende service består i, at beskeden bliver forstået, sendt videre og fulgt op.

Det tænkte eksempel illustrerer en vigtig forskel mellem brugeroplevelse og drift. Man kan forbedre den første del, mens problemet fortsat ligger uløst i den anden. Et system kan derfor virke hurtigt og hjælpsomt på skærmen, uden at borgeren nødvendigvis får en hurtigere løsning i virkeligheden.

En vurdering kan følge flere forskellige tidspunkter: Hvornår bliver henvendelsen modtaget? Hvornår ser en medarbejder den? Hvornår får borgeren et brugbart svar? Og hvornår bliver problemet løst eller afvist med en forklaring? Det er ikke nødvendigvis den samme teknologi, der styrer alle disse trin.

Menneskelig kontrol skal have en konkret funktion

Når medarbejdere skal kontrollere en AI-løsnings forslag, er det værd at spørge, hvad kontrollen består i. Skal de læse hvert svar, gennemgå udvalgte sager eller kun reagere på advarsler? De forskellige modeller kræver forskellig bemanding og giver forskellige muligheder for at opdage fejl.

I et tænkt pilotprojekt kan man eksempelvis lade medarbejdere sammenligne en del af de automatiske svar med organisationens eksisterende vejledninger. Det kan gøre det lettere at skelne mellem et sprogligt godt svar og et svar, der faktisk følger den rigtige procedure.

Der er også forskel på at kunne rette et svar og at kunne standse en handling. Hvis en assistent kun skriver et udkast, kan en medarbejder ændre teksten. Hvis den også sender beskeder eller ændrer oplysninger, bliver det vigtigt at vide, hvilke handlinger der allerede er udført.

Det er generelle vurderingspunkter for denne type systemer, ikke dokumenterede fejl i de nævnte Google-projekter. De gør det muligt at stille mere præcise spørgsmål, når en demonstration præsenteres som et skridt mod automatisering.

Flere sprog kræver mere end en sprogliste

Flersproget adgang kan gøre en digital indgang relevant for flere mennesker. Men en liste over understøttede sprog siger ikke i sig selv, hvordan systemet håndterer ufuldstændige beskeder, stavefejl eller lokale betegnelser.

En praktisk evaluering kan derfor omfatte flere måder at beskrive det samme problem på. En person skriver måske navnet på en station, mens en anden kun beskriver et vartegn i nærheden. Begge ønsker hjælp, men deres henvendelser kræver ikke nødvendigvis den samme afklaring.

Muligheden for at komme videre til et menneske er tilsvarende værd at undersøge som en del af selve løsningen. Det bør være tydeligt for brugeren, hvad der sker, når assistenten ikke kan hjælpe, og om tidligere oplysninger følger med til næste led.

Hvad skal danske organisationer tage med?

Dagens arrangement er amerikansk, og en amerikansk kundecase er ikke i sig selv dokumentation for, at en løsning passer til en dansk myndighed. Arbejdsgange, datagrundlag og brugernes behov skal vurderes i deres egen sammenhæng.

Det mest anvendelige udgangspunkt er derfor en afgrænset opgave med et kendt problem. En organisation kan eksempelvis undersøge, hvor ofte en bestemt henvendelse kræver ekstra afklaring, og derefter afprøve, om en digital assistent faktisk reducerer dette arbejde.

Omkostningerne bør også ses i forhold til opgaven. Hurtigere tekstproduktion kan være værdifuld, men gevinsten bliver mindre, hvis medarbejderne bagefter skal bruge tilsvarende tid på at rette eller genbehandle svar. Det relevante resultat er den samlede ændring i arbejdsgangen.

Google har en klar interesse i at fremhæve vellykkede anvendelser. Selskabets beskrivelser er nyttige som førstehåndsoplysninger om egne samarbejder, men de erstatter ikke en uafhængig evaluering. Elektronika har ikke testet de omtalte systemer.

Konferencens tema peger dermed på et enkelt spørgsmål, som også er relevant uden for USA: Hjælper AI'en blot med at formulere svaret, eller bliver den service, som borgeren har brug for, faktisk bedre?

Svaret bør kunne ses i konkrete forløb, også når henvendelsen er vanskelig, og når den første automatiske forklaring ikke er tilstrækkelig.