Groq 3 LPX architecture: Nvidia laat eerste onafhankelijke benchmark zien

Nvidia heeft op Hot Chips 2026 de Groq 3 LPX architecture toegelicht en voor het eerst een benchmark van een onafhankelijke partij gedeeld. Volgens het bedrijf draait de LP30-gebaseerde rackconfiguratie al in productie.

Nvidia heeft op Hot Chips 2026 de Groq 3 LPX architecture uitgelicht en daarbij voor het eerst een benchmark van een derde partij genoemd. De presentatie ging vooral over inferentie, met nadruk op decode-prestaties, vaste latentie en een rackontwerp dat volgens Nvidia al in productie is.

Groq 3 LPX architecture – Groq 3 LPX architecture: Nvidia laat eerste onafhankelijke benchmark zien

Meer technologienieuws vind je op de TostieTech Tech-nieuwspagina.

Groq 3 LPX architecture draait al in productie

De presentatie werd gegeven door Igor Arsovski, inmiddels VP hardware bij Nvidia en voorheen hoofdarchitect bij Groq. Hij beschreef de Groq 3 LPX architecture als een rackarchitectuur op basis van de LP30-chip, die Nvidia in december 2025 in handen kreeg via de deal ter waarde van 20 miljard dollar. Volgens Arsovski is een op LP30 gebaseerd rack al in productie.

De LPX-opstelling is nadrukkelijk gepositioneerd voor inferentie, en dan vooral voor het genereren van outputtokens tijdens de decode-fase. Nvidia zegt niet dat dit een algemene vervanger is voor GPU’s. De chip is juist bedoeld voor een specifiek deel van de AI-workflow waarin lage en voorspelbare latentie belangrijk is.

Eerste derdepartijbenchmark van Groq 3 LPX architecture

Voor de Groq 3 LPX architecture liet Nvidia voor het eerst een benchmark van een externe partij zien. Artificial Analysis mat 3.431 outputtokens per seconde op een Gemma 4 31B reasoning-workload met een context van 100.000 tokens. Dat was volgens de vergelijking ongeveer vier keer zoveel als het op dat moment snelste publieke endpoint, dat op 870 tokens per seconde uitkwam.

Die vergelijking kent wel een belangrijke kanttekening: de test draaide op een privé, pre-release endpoint via Google Cloud, terwijl de andere gemeten systemen publieke, gedeelde serverless endpoints waren. De meting was bovendien op concurrency 1, dus één verzoek tegelijk. Dat geeft een goed beeld van de maximale tokenoutput per gebruiker, maar is niet één-op-één te vergelijken met multi-tenant productieomgevingen.

Waarom Nvidia de Groq-ontwerpkeuzes benadrukt

De Groq 3 LPX architecture verschilt technisch van klassieke AI-accelerators doordat de LP30 geen HBM gebruikt, maar ongeveer 500 MB on-die SRAM per chip. Een volledig rack met 256 chips komt daarmee uit op 128 GB totaal geheugen en volgens Nvidia op 40 PB/s aan aggregate bandwidth. De chip-to-chip latency wordt genoemd op 350 nanoseconden.

Nvidia zet dat af tegen het eigen Rubin-platform, waar veel meer HBM-capaciteit beschikbaar is. Juist daardoor is de LPX-rackopzet vooral geschikt voor modellen die in het rack passen en voor decode, niet voor zeer grote mixture-of-experts-modellen waarbij geheugencapaciteit de beperkende factor wordt.

Het bedrijf benadrukte ook de deterministische uitvoering: doordat het systeem taken cyclisch kan plannen, zouden spanning- en thermische pieken beter voorspelbaar zijn. Nvidia zegt dat dit voltage droop en overshoot sterk verlaagt en onder een vast thermisch limiet nog eens ongeveer 10 tot 11 procent extra performance kan opleveren.

Samenwerking met Rubin en beperkingen van het ontwerp

Nvidia positioneert de Groq 3 LPX architecture niet als losstaand eindproduct, maar als decode-co-processor naast Vera Rubin NVL72. Rubin zou dan de prefill-fase en de KV-cache op zich nemen, terwijl de LPU’s de outputtokens genereren. Het bedrijf toonde meerdere manieren om die taakverdeling te doen, waaronder disaggregated prefill and decode en speculative decoding.

Dat maakt ook duidelijk waar de grenzen liggen. De SRAM-only aanpak levert lage latentie en hoge bandbreedte, maar vraagt veel chips om grotere modellen te dragen. Bij een model van 31 miljard parameters in FP8 zijn al tientallen LPU’s nodig om de gewichten te huisvesten. Voor grotere modellen loopt dat snel op tot meerdere racks. Nvidia noemt de LPU daarom expliciet een decode-versneller, niet een universele vervanger voor GPU’s.

TostieTech duiding

Nvidia gebruikt deze presentatie om twee dingen tegelijk te doen: de Groq-techniek technisch uit te leggen én de eigen inbedding daarvan in het Rubin-platform te positioneren. Dat is belangrijk, omdat de meeste AI-infrastructuur vandaag niet draait om pure token-snelheid alleen, maar om de hele keten van prefill, cache-opslag, netwerkverkeer en energiebeheer.

De benchmark van Artificial Analysis is nuttig omdat het voor het eerst een externe datapunt geeft, maar de context blijft beperkt. Een privé endpoint op concurrency 1 laat vooral zien wat het systeem maximaal per gebruiker kan doen. Dat zegt minder over prestaties in een gedeelde omgeving met meerdere klanten tegelijk. De vergelijking met publieke serverless endpoints is daarom informatief, maar niet volledig gelijkwaardig.

Technisch is de nadruk op SRAM en determinisme logisch. Wie vooral decode wil versnellen, profiteert van korte, voorspelbare toegangstijden en minder afhankelijkheid van HBM-voorraden. Daar staat tegenover dat SRAM veel minder opslagcapaciteit biedt dan HBM. Nvidia erkent die beperking zelf door de LPU als decode-component neer te zetten en niet als algemene AI-chip. Voor Nederlandse lezers die vooral naar praktische inzet kijken, is dat de kern: dit is een gespecialiseerde versneller voor een specifieke fase van inferentie, geen alles-in-één alternatief voor GPU’s.


Bron: Tom's Hardware

Geef een reactie