I et datacenter kan en AI-chip have ledig regnekraft, selv når der står en kø af opgaver klar. Hvis næste portion data endnu ikke er hentet fra hukommelsen eller ankommet fra en anden server, må chippen vente. Det er den form for ventetid, den amerikanske chipproducent Marvell vil adressere med de forbindelser og hukommelsesmoduler, selskabet har annonceret til Supercomputing 2026 i Chicago.

Marvell offentliggjorde programmet fredag den 13. november. På listen står et hukommelsesmodul til selskabets Photonic Fabric, flere løsninger til at udvide serverhukommelse med standarden CXL og aktive elektriske kabler med kapacitet på 800 gigabit og 1,6 terabit pr. sekund. Konferencen begynder søndag, mens udstillingen er åben fra den 17. til den 19. november.

Data skal flyttes over flere afstande

Inde i en server bevæger data sig mellem processorer, acceleratorer og hukommelse over korte forbindelser. Når en opgave kræver flere maskiner, må data også flyttes mellem servere og i nogle tilfælde mellem skabe. Hvert ekstra led kan tilføre ventetid eller begrænse, hvor meget data der kan flyttes på én gang.

Ved træning af en stor model kan flere acceleratorer eksempelvis beregne hver deres del og derefter udveksle resultater, før næste beregning kan begynde. Hvis én del af forbindelsen er overbelastet, kan flere acceleratorer ende med at vente på den samme overførsel. Hvor meget det betyder, afhænger af, hvordan træningen er delt op, og hvor ofte maskinerne har brug for hinandens resultater.

Marvell vil bruge optiske forbindelser til at lade beregning og hukommelse arbejde sammen på tværs af flere racks, altså de skabe, serverne monteres i. I en optisk forbindelse sendes signalet som lys gennem en fiber. Det kan være en fordel, når signalet skal længere, end de korte elektriske forbindelser på et printkort er beregnet til. Ved enderne skal elektronikken stadig omdanne data til og fra lys. Den del tæller med, når man vurderer systemets strømforbrug og svartid.

Ekstra hukommelse kommer med en afvejning

Til hukommelsesudvidelse vil Marvell vise udstyr baseret på Compute Express Link, forkortet CXL. Konsortiet bag standarden beskriver den som en forbindelse mellem værtsprocessorer, tilsluttet hukommelse og acceleratorer. Standarden understøtter, at processoren og de tilsluttede enheder kan arbejde med et konsistent billede af de data, de deler. På messen vil Marvell blandt andet vise udvidelseskort og partnerløsninger med DDR4- og DDR5-hukommelse.

Udvidelsen kan give en server mere plads til data. Det kan have værdi, hvis alternativet er at flytte data frem og tilbage fra et langsommere lag. Til gengæld afhænger gevinsten af, hvor hurtigt programmet har brug for de pågældende data. En opgave kan have store datasæt, som kun læses lejlighedsvis, og mindre datasæt, som processoren skal tilbage til ved hver beregning. De to typer data behøver ikke ligge samme sted. Et system, der flytter dem mellem flere hukommelseslag, skal bruge tid på at vælge placering og hente dem igen.

Kabelhastighed siger kun noget om ét led

På standens program står også aktive elektriske kabler. De har elektronik, der behandler signalet, og kan bruges til korte forbindelser mellem udstyr. De annoncerede 800 gigabit og 1,6 terabit pr. sekund beskriver kabelkapacitet. En AI-opgave får kun glæde af den kapacitet, hvis netværksudstyret i begge ender kan følge med, og den samme trafik ikke møder et langsommere led længere fremme.

Programmet giver derfor flere konkrete demonstrationer at følge i Chicago, fra et enkelt kabel til måden, hukommelse og beregning forbindes på. Marvells annoncering giver endnu ingen målinger af, hvor meget hurtigere en bestemt arbejdsopgave bliver med kombinationen. Til det skal man kende opsætningen, se hvordan den håndterer trafik fra flere opgaver på én gang og måle, hvor meget strøm hele forbindelsen bruger.