Q.ANT og den tyske serverudbyder IONOS åbner mandag den 9. november et pilotprojekt, hvor udviklere kan afprøve egne programmer på en processor, der udfører en del af sine beregninger med lys. Hidtil har Q.ANT blandt andet afprøvet teknologien på tyske supercomputercentre. Nu kan virksomheder og forskere søge om at afprøve den gennem en kommerciel hostingudbyder.

Ifølge Q.ANTs meddelelse om pilotprojektet får udvalgte deltagere adgang til en fysisk server i Tyskland med selskabets andengenerationsprocessor, Native Processing Unit Gen 2. Deltagelse er gratis for de godkendte ansøgere. De skal beskrive en konkret opgave og kunne administrere den dedikerede server selv.

IONOS beskrev samarbejdet i maj. Det nye er, at interesserede nu kan søge om plads i et konkret forsøg. Ansøgningssiden kalder det en lukket beta. IONOS klargør serveren manuelt og giver deltageren adgang via SSH med administratorrettigheder. Deltagerne kan bruge egne data og programmer, og Q.ANT hjælper med opstart og gennemgang af arbejdsopgaven.

Lyset klarer en del af regnestykket

En fotonisk processor bruger kontrollerede lysbølger som led i selve beregningen. Det adskiller den fra en almindelig optisk forbindelse, hvor lyset transporterer information mellem enheder, mens elektronikken stadig regner. I Q.ANTs system går laserlys gennem strukturer på chippen. Fotodetektorer omsætter det optiske resultat til signaler, der kan sendes videre til resten af computeren. Q.ANT bygger de optiske kredsløb på et tyndt lag lithiumniobat.

Acceleratoren er en del af et elektronisk system. Ifølge Leibniz-Rechenzentrums gennemgang af teknologien kommunikerer kortet med værtscomputeren via PCIe. Der er også almindelig CMOS-elektronik på kortet. Når en opgave kræver funktioner, som den optiske del ikke kan udføre, skal data udveksles med de elektroniske dele. Derfor har det betydning, hvor stor en del af en beregning der kan blive på acceleratoren, inden et mellemresultat skal flyttes.

Q.ANT fremhæver blandt andet muligheden for at udføre ikke-lineære funktioner direkte i den optiske del. I et neuralt netværk gør sådanne funktioner det muligt at lære sammenhænge, der er mere sammensatte end en vægtet sum af input. Hvis en bestemt funktion passer godt til hardwaren, kan en udvikler forsøge at bygge modellen omkring den. Det er en anden opgave end at tage en færdig model til en grafikprocessor og forvente, at den uden ændringer får samme fordel.

Hele arbejdsopgaven skal med i målingen

En beregning kan være hurtig på chippen og stadig tage tid fra programmets synspunkt. Et system til at finde fejl på en produktionslinje skal eksempelvis modtage et billede, klargøre det, køre modellen og levere resultatet tilbage til styringen. Hvis klargøring og flytning af data fylder mest, kan en hurtigere modelberegning have begrænset virkning på den samlede svartid. Hvis modellen derimod kan udføre flere trin på acceleratoren, kan besparelsen få større betydning.

Derfor er det relevant at måle både tid, energi og kvalitet på den opgave, udvikleren faktisk vil løse. En model, der bruger mindre energi, skal stadig eksempelvis finde de fejl på billederne, som brugeren har brug for at opdage. Ved mange forespørgsler kan gennemløbet være vigtigere end svartiden for det første billede. Ved styring af en maskine kan selv enkelte langsomme svar være afgørende.

Leibniz-Rechenzentrum har afprøvet to generationer af Q.ANTs processorer på blandt andet mønstergenkendelse og mindre neurale netværk. Centret beskriver forbedringer fra den første til den anden generation i udvalgte forsøg. Det er en sammenligning mellem Q.ANTs egne hardwaregenerationer under de opgaver, centret testede. Den siger ikke i sig selv, hvordan en bestemt kundes program vil klare sig mod en GPU på en anden server.

Centrets forskere peger også på præcision som en praktisk faktor. Der kan opstå støj, når det optiske resultat bliver registreret af fotodetektorerne. Hvis et program skal bruge større præcision, kan beregningen skulle deles op i flere trin. Det giver ekstra arbejde og er en af grundene til, at den samme hardware kan være velegnet til én model og mindre velegnet til en anden.

Strømforbruget skal også ses i forhold til den mængde arbejde, serveren får fra hånden. En server kan trække flere watt under belastning og alligevel bruge mindre energi pr. færdigt resultat, hvis den løser opgaven hurtigere. Til en sammenligning mellem en fotonisk accelerator og en GPU skal man derfor bruge de samme input og stille de samme krav til kvaliteten af svarene. Ellers risikerer man at tilskrive hardwaren en besparelse, der i virkeligheden kommer af en ændring i opgaven.

Fra softwareforsøg til en fysisk server

Q.ANT offentliggjorde i september et åbent udviklingssæt til processoren. Pilotsiden beskriver adgang via C, C++ og Python samt integration med PyTorch. Den konkrete kompatibilitet skal ifølge Q.ANT afklares under opstarten. Udviklingssættet gør det muligt at undersøge, hvordan programmet skal kalde acceleratoren. Serveradgangen giver deltagerne en måde at måle, hvad de kald koster i tid og energi på den fysiske hardware.

I juni viste Q.ANT to forsøg med generativ AI på sin egen hardware. Det ene brugte en diffusionsmodel til at omdanne et inputbillede, med et centralt lag af modellen på den optiske chip. Det andet brugte TiRex til at fremskrive tidsserier. De to demonstrationer viser, hvilke opgaver producenten selv har fået til at køre. I piloten er det deltagernes egne programmer og data, der skal vise, hvor meget af arbejdet de kan flytte over på chippen.

Piloten er åben for ansøgninger om blandt andet billedbehandling, tidsserieprognoser og videnskabelige beregninger. Q.ANT og IONOS beskriver et forløb, hvor de gennemgår deltagernes programmer, hjælper med at justere forsøget og til sidst vurderer målinger af ydelse og energi. Meddelelsen oplyser ingen dato for almindelig adgang eller pris efter forsøgsperioden.

For udviklere er forskellen nu, at en model kan vurderes på en fysisk server med de data og den software, den skal arbejde med. Forsøgene kan vise, om gevinsten i den optiske del stadig er synlig, når data skal ind og ud af kortet, og når hele programmets arbejde tælles med.