Auf der Fachkonferenz Hot Chips 2026 hat Nvidia die Serienproduktion seines neuen Inferenz-Racks Groq 3 LPX bekanntgegeben. Das System markiert einen bedeutenden Schritt in der Hardware-Architektur für künstliche Intelligenz, da es gezielt auf die Anforderungen moderner Agenten-Workflows zugeschnitten ist. Mit der vollständigen Fertigungsfreigabe reagiert der Chiphersteller auf die steigende Nachfrage nach minimaler Inferenzlatenz und hohem Durchsatz in Produktivumgebungen.
Die Architektur des Groq 3 LPX kombiniert Nvidias Vera-Rubin-Plattform mit spezialisierter Inferenz-Hardware. Während die Rubin-Komponenten die Phasen des Trainings sowie des Prefills übernehmen, sind 256 dedizierte Language Processing Units für das eigentliche Token-Decoding zuständig. Diese LPUs werden im 4-Nanometer-Verfahren beim Auftragsfertiger Samsung hergestellt und basieren auf der Technologie aus der Groq-Transaktion.
Im Praxiseinsatz und in Benchmarks von Artificial Analysis erzielt das neue System Spitzenwerte von bis zu 3.400 Tokens pro Sekunde. Dieser massive Zuwachs bei der Ausführungsgeschwindigkeit adressiert direkt das zentrale Problem komplexer KI-Agenten, die in iterativen Schleifen agieren. Bei solchen mehrstufigen Denkprozessen bildete die reine Latenz der Token-Generierung bisher einen gravierenden Engpass für die Benutzererfahrung.
Als erster Cloud-Anbieter wird Nebius das System live in Betrieb nehmen und für Unternehmenskunden zugänglich machen. Dadurch können Entwickler und Unternehmen die neue Inferenz-Leistung über Cloud-Instanzen nutzen, ohne eigene physische Racks installieren zu müssen. Die Zusammenarbeit soll die Einführung neuer agentischer Anwendungen in der Praxis beschleunigen.
Mit dem Produktionsstart festigt Nvidia seine Marktposition im Bereich der Inferenz-Infrastruktur, der zunehmend gegenüber dem reinen Modelltraining an wirtschaftlicher Bedeutung gewinnt. Durch die Trennung von Prefill- und Decoding-Phasen auf heterogener Hardware setzt das Unternehmen auf spezialisierte Rechenzentrumsarchitekturen. Die Auslieferung der Serienmodelle soll die verfügbaren Kapazitäten für rechenintensive Sprachmodelle spürbar erweitern.