En hjemmeside med en mikrofonknap kan få Firefox til at omsætte brugerens tale til tekst på computeren. Det er en ny mulighed i Firefox 160, som Mozillas udviklernoter daterer til tirsdag den 10. november. Browseren udfører selve genkendelsen lokalt, så den kan levere teksten til websiden uden at sende lyden til en ekstern genkendelsestjeneste. Mozilla oplyser, at funktionen understøtter 40 sprog på desktop. Android er endnu ikke omfattet. Mozillas udviklernoter til Firefox 160

Nyheden handler om den funktion, en webudvikler kan bygge ind i sin side. En bruger vil derfor først møde den i en webapp, der har valgt at bruge den. Den kan for eksempel bruges til at udfylde et søgefelt med stemmen. Den kan også give en udvikler mulighed for at tilbyde diktering i et skriveværktøj, hvis browseren har den nødvendige sprogpakke.

Browseren står for genkendelsen

Talegenkendelse og oplæsning er to forskellige dele af Web Speech API. Ved oplæsning får browseren tekst, som den skal læse højt. Ved talegenkendelse går det den modsatte vej. Browseren tager imod lyd og leverer en fortolkning som tekst til websiden. Det er denne del, Mozilla nu gør tilgængelig i Firefox på computere. Ændringen fremgår også af Mozillas udviklingslog, hvor den er registreret som gennemført til version 160. Mozillas tekniske ændringslog

I en serverbaseret løsning kan en webapp sende lyd til en tjeneste og få teksten tilbage. Med den lokale funktion sker beregningen på brugerens enhed. Når den nødvendige pakke er installeret, kan selve genkendelsen ifølge MDN fungere uden internetforbindelse. En netbaseret app kan stadig være afhængig af forbindelse til at indlæse siden, hente dokumenter eller gemme det færdige arbejde. Om hele appen kan bruges offline, afhænger af, hvordan den er bygget. MDN om lokal behandling i Web Speech API

Det samme skel er vigtigt for privatlivet. Browserens lokale genkendelse betyder, at lyd ikke behøver at forlade maskinen i den del af processen. Den færdige tekst bliver stadig givet til websiden. Hvis brugeren dikterer i et felt i en webmail, kan mailtjenesten eksempelvis gemme kladden på sin server. Lokalt behandlet tale kan derfor godt ende som tekst i en almindelig nettjeneste.

I Mozillas tekniske beskrivelse er optagelse, genkendelse og håndtering af sprogmodeller fordelt på forskellige dele af browseren. En del tager imod lyden, og en særskilt proces udfører genkendelsen og sender teksten tilbage. Browserens hovedproces håndterer anmodningen om at hente den nødvendige model. For webappen er grænsefladen den samme, uanset hvordan browseren har organiseret arbejdet. Siden beder om genkendelse og modtager tekst, mens browseren står for at finde og køre modellen. Mozillas beskrivelse af arkitekturen

Sprogpakken skal være klar

En udvikler kan udtrykkeligt bede om lokal behandling med indstillingen processLocally. Før genkendelsen starter, kan siden spørge browseren, om det ønskede sprog er klar. Svaret kan blandt andet fortælle, at pakken allerede er installeret, at den kan hentes, eller at den ikke er tilgængelig til den forespørgsel. Et program kan bruge svaret til at forklare, hvorfor en mikrofonknap må vente, eller til at vise et almindeligt tekstfelt. Firefox 160 tilbyder ifølge udviklernoterne ingen serverbaseret genkendelse gennem denne grænseflade. MDN om at vælge lokal genkendelse

Der er forskel på at genkende en kort kommando og at skrive et længere afsnit efter diktat. Webgrænsefladen giver udviklere mulighed for at angive, om opgaven er kommandoer, diktering eller samtale. I Firefox 160 accepterer browseren ifølge MDNs kompatibilitetsdata denne indstilling, men den ændrer ikke resultatet af et kald til at kontrollere eller installere en pakke. En webapp kan derfor bruge Firefox til at spørge om et sprog, mens kvaliteten til dens konkrete formål skal vurderes særskilt. MDNs kompatibilitetsdata for SpeechRecognition

Ved første brug kan sprogpakken kræve en download. Webappen kan vise, at den er ved at hente pakken, og tilbyde tastaturinput, hvis installationen mislykkes. I en indlejret app kan sidens tilladelsespolitik også blokere adgangen til at kontrollere eller installere pakken. De to spørgsmål skal håndteres særskilt fra brugerens tilladelse til at anvende mikrofonen. MDN om installation af sprogpakker

Et eksempel er et spørgeskema, der ligger på en anden webadresse end den side, det er indlejret på. Selv om formularen virker, når den åbnes direkte, kan den side, som viser den, bestemme, om formularen får lov at bruge funktionerne til sprogpakker. Et synligt tekstfelt giver i den situation brugeren en vej videre, selv om indlejring, browser eller indstillinger forhindrer taleinput. MDN om kontrol af tilgængelighed og tilladelser

Det er webappen, der bestemmer, hvor teksten ender

Web Speech API kan også give foreløbige resultater undervejs. Det gør det muligt at vise ord, mens brugeren stadig taler, og derefter opdatere teksten, når browseren leverer sin endelige fortolkning. I et noteværktøj kan det hjælpe brugeren med at se, at mikrofonen virker. I en app, der reagerer på en kommando, kan det være nødvendigt at vente på det endelige resultat, før en handling sættes i gang. MDN om foreløbige resultater

For en bruger kan forskellen vise sig, når et netværk er langsomt, eller når et arbejdsredskab skal kunne behandle tale uden at sende lyd til en server. Hvor godt genkendelsen fungerer i praksis, afhænger blandt andet af sproget, mikrofonen og det, der bliver sagt. Navne og fagudtryk kan være svære at genkende. En dikteringsfunktion kan derfor med fordel give brugeren mulighed for at rette teksten, før den bliver sendt videre eller brugt til at udføre en handling.

Med Firefox 160 har udviklere endnu en browser, hvor de kan tilbyde lokal genkendelse. Det afgørende for en bruger er, om den enkelte webapp har taget funktionen i brug, om sproget er tilgængeligt, og hvordan appen behandler den tekst, den får tilbage.