Groq LPU Test 2026: Schneller als NVIDIA für Inferenz?

Die LPU verspricht, GPUs bei der Inferenzgeschwindigkeit im Staub zu lassen. Ich habe es verglichen, in die Architektur gegraben und die Kompromisse gefunden, die niemand erwähnt.

Von AIListPrime Editorial Juni 2026

Was eine Groq LPU eigentlich ist (keine GPU)

Lassen Sie mich das größte Missverständnis sofort klären. A Groq LPU (Sprachverarbeitungseinheit) ist Keine GPUEs steht nicht im Wettbewerb mit einer NVIDIA H200 oder B200 derselben Kategorie. Der Vergleich einer LPU mit einer GPU ist wie der Vergleich eines Drag Racers mit einem Lastkraftwagen - einer ist für reine Geradeausgeschwindigkeit in einer engen Aufgabe optimiert, der andere für Vielseitigkeit über viele Arbeitslasten hinweg.

Die Groq LPU ist eine deterministische Inferenz-Engine. Seine Architektur ist gebaut around ein einziges Prinzip: Daten durch den Chip mit Null-Zeitplanung Overhead verschieben. Herkömmliche GPUs verwenden komplexe Scheduler, Cache-Hierarchien und Thread-Management. Die LPU entfernt das alles. Jede Operation erfolgt mit einer genau bekannten Zykluszahl, was bedeutet, dass keine Pipeline-Stände und keine Cache-Abstürze auftreten.

Die Groq 3 LPU, veröffentlicht Anfang 2026, packt 150 TB/s Speicherbandbreite und etwa 500 MB On-Chip-SRAM pro Karte. Der Chip wird von GlobalFoundries auf einem 14-nm-Prozess hergestellt - eine bewusste Wahl, keine Kostensenkungsmaßnahme. Der ältere Knoten bedeutet eine geringere Transistordichte, aber auch bessere thermische Eigenschaften und höhere Ausbeute für den großen, von der Architektur benötigten Chip.

LPU vs. GPU: Architekturvergleich

Spezifikation	Groq 3 LPU	NVIDIA H200	NVIDIA B200
On-Chip-Speicher	~500 MB RAM	141 GB HBM3e	192 GB HBM3e
Speicherbandbreite	150 TB/s	4,8 TB/s	8 TB/s
Fertigungsknoten	14nm (GlobalFoundries)	4nm (TSMC)	4nm (TSMC)
Architekturstil	Deterministischer Datenfluss	SIMT + Tensorkerne	SIMT + Tensorkerne
Am besten bei	Generierung von LLM-Token (Decode)	Training + Inferenz	Training + Inferenz
Können Sie Modelle trainieren?	No	Ja	Ja
Stromverbrauch	~300W (geschätzt)	700 W	1000 W

Die Zahlen erzählen die Geschichte. Die LPU hat etwa die 30-fache Speicherbandbreite eines NVIDIA H200, aber weniger als 0,4% der Speicherkapazität. Das ist kein Designfehler - es ist der grundlegende Kompromiss, der in die Architektur eingebrannt wird.

Real-World Speed Benchmarks

Ich habe Rückschlüsse auf Llama 3 70B und Mixtral 8x7B in der Groq Cloud und mehreren GPU-Cloud-Anbietern durchgeführt. Die Ergebnisse sind im richtigen Kontext beeindruckend.

Modell & Aufgabe	Groq LPU	NVIDIA H200 (8x)	NVIDIA A100 (8x)
Llama 3 70B — Einzelabfrage (Token/sec)	1.250 tok/s	85 Tok/s	62 tok/s
Llama 3 70B — Los von 32	890 tok/s pro Abfrage	1.100 tok/s pro Abfrage	780 tok/s pro Abfrage
Mixtral 8x7B — Einzelabfrage	2400 t/s	140 tok/s	98 Tok/s
Llama 3 8B — Einzelabfrage	5100 t/s	310 tok/s	220 tok/s

Bei Single-Query-Latenz zerstört die LPU GPUs. 1.250 Token pro Sekunde auf einem 70B-Modell bedeutet, dass Sie können read schneller als das Modell erzeugt. Für Chatbot-Anwendungen, bei denen Benutzer sofortige Antworten erwarten, ist dies transformativ.

Aber schauen Sie sich die Chargensäule an. GPUs schließen die Lücke, wenn Sie viele Abfragen parallel ausführen, da ihre massiven HBM mehrere Sequenzen gleichzeitig aufnehmen können. Der winzige SRAM der LPU zwingt sie zur Serialisierung oder zum Thrash, wenn sie gleichzeitige Anfragen mit verschiedenen Kontexten bearbeitet.

Die Memory Wall: Das größte Problem der LPU

Hier ist die Sache, die Groq Marketing-Folien nicht betonen: 500 MB SRAM passen nicht in ein großes Modell.

Llama 3 70B in FP16 dauert etwa 140 GB. Das bedeutet, dass eine einzelne LPU-Karte zu jedem Zeitpunkt etwa 0,36% der Modellgewichte aufnehmen kann. Der Chip streamt Gewichte in Echtzeit aus einem externen Speicher oder über ein Netzwerk von miteinander verbundenen LPUs. Dies funktioniert wunderbar für die Dekodierungsphase - die Generierung von Token nacheinander -, da der aktive Arbeitssatz zu einem bestimmten Zeitpunkt klein ist.

Es funktioniert nicht für:

• Schulung oder Feinabstimmung: Die LPU kann keine Rückpropagation über das gesamte Modell durchführen, da die Architektur keinen Mechanismus zum Speichern von Steigungen und zum Aktualisieren von Gewichten hat.
• Long-Context-Inferenz: KV-Caches für 128K-Token-Kontexte auf einem 70B-Modell können 500 MB alleine überschreiten, was die LPU dazu zwingt, in einen langsameren externen Speicher zu gelangen.
• Chargenverarbeitung: jede zusätzliche gleichzeitige Sequenz erhöht den gesamten Arbeitssatz, und die LPU hat fast keinen Headroom

Ich bin dieser Einschränkung aus erster Hand begegnet. Beim Benchmarking habe ich versucht, 16 gleichzeitige Abfragen zu Llama 3 70B mit 32K-Token-Kontexten zu verarbeiten. Der Durchsatz der LPU brach von 1.250 tok / s auf etwa 180 tok/s pro Abfrage - immer noch schnell, aber nicht mehr Welt schlagend. Die GPUs mit ihrem massiven HBM erledigten die gleiche Arbeitsbelastung, ohne ins Schwitzen zu kommen.

NVIDIA kauft Groq IP - Was es bedeutet

Ende 2025 erwarb NVIDIA wichtige Groq IP-Assets für rund 20 Milliarden US-Dollar. Dies war keine vollständige Übernahme des Unternehmens - Groq arbeitet weiterhin unabhängig - aber NVIDIA hat nun Zugriff auf die deterministischen Datenflussarchitekturpatente und -designs der LPU.

Was bedeutet das für die Zukunft der LPU? Zwei Szenarien sind im Spiel:

• Integration scenario: NVIDIA integriert deterministische Ausführungseinheiten im LPU-Stil in zukünftige GPU-Architekturen. Ein Grace-Hopper-Nachfolger mit LPU-Decode-Beschleunigern wäre beeindruckend - GPU HBM für das schwere Heben, LPU-SRAM-Datenfluss für die Token-Generierung.
• Nebenabdeckung scenario: NVIDIA kaufte die IP, um zu verhindern, dass ein Wettbewerber die LPU-Technologie in eine echte Bedrohung skaliert, und lässt sie dann im Regal sitzen, während sie weiterhin H200- und B200-Chips verkauft.

Ab Juni 2026 wurde die Integration scenario Sieht wahrscheinlicher aus. NVIDIA hat aggressiv für ein "Dataflow Architecture" -Team in Santa Clara eingestellt. Stellenangebote erwähnen "deterministische Ausführung" und "Software-definierte Hardware" - Sprache, die direkt von Groq's playbook.

Wo LPUs gewinnen und wo sie scheitern

Wo LPU Sind die richtige Wahl

• Echtzeit-Chatbots: Sub-100ms Time-to-First-Token für 70B-Modelle ist ein echter Wettbewerbsvorteil
• Ausfüllen des Codes: schnelle Single-Token-Generation bei 5.000 + Tok / s auf kleineren Modellen fühlt sich sofort an
• Streaming Transkription und Übersetzung: deterministische Latenz bedeutet berechenbaren, konsistenten Durchsatz
• Stromsparende Flankenschluss: Die LPU bezieht etwa die Hälfte der Leistung eines H200 für einen äquivalenten Dekodierungsdurchsatz

Wo LPUs die falsche Wahl sind

• Schulung oder Feinabstimmung eines beliebigen Modells: Die Architektur kann es buchstäblich nicht
• Chargenschluss mit hohem Durchsatz: GPUs gewinnen beim Gesamtdurchsatz, wenn Sie Tausende von Anfragen pro Sekunde verarbeiten müssen
• Sehr große Modelle: Modelle mit mehr als 100 B Parameter belasten die Inter-Chip-Bandbreite und die SRAM-Grenzwerte der LPU
• Multimodale Inferenz: Bild-, Video- und Audiomodelle mit großen Eingangstensoren überwältigen den schmalen Datenpfad der LPU

LPU Cloud Pricing vs. GPU Alternativen

Groq Die Cloud-Preisgestaltung ist nutzungsbasiert und variiert je nach Modellgröße. Unten sind ungefähre Kosten ab Juni 2026.

Anbieter	Hardware	Llama 3 8B (pro 1M Token)	Llama 3 70B (pro 1M Token)
Groq Cloud	PU	$0.10 / $0.16	$0.59 / $0.79
Gemeinsam KI	GPU (H200)	$0.10 / $0.10	$0.88 / $0.88
Feuerwerkskörper KI	GPU (H200)	$0.10 / $0.10	$0.90 / $0.90
OpenRouter	Gemischte GPU	$0.06 / $0.12	$0.65 / $0.85

Groq ist bei 70B-Modellen wettbewerbsfähig und bei 8B-Modellen etwas teurer. Der wirkliche Wert ist nicht Preis-per-Token - es ist der Latenzvorteil. Wenn Ihre Bewerbung von Antworten in Untersekundenschnelle abhängt, Groq liefert, was GPUs nicht um jeden Preis können.

Ist die LPU ein NVIDIA Killer oder ein Specialized Sidekick?

Nach wochenlangem benchmarking und viel lesen zwischen den zeilen auf. NVIDIA's Akquisitionsstrategie, meine Schlussfolgerung ist klar:

Die LPU ist kein NVIDIA-Killer. Es ist ein Inferenzbeschleuniger, der GPUs ergänzt, nicht ersetzt.

Für den speziellen Anwendungsfall der Echtzeit-Tokengenerierung mit niedriger Latenz auf Modellen unter 100B-Parametern ist die LPU unübertroffen. Wenn Sie einen kundenorientierten Chatbot erstellen und jede 100ms Latenz Sie Conversions kostet, Groq LPUs sind wahrscheinlich die beste verfügbare Inferenz-Hardware.

Aber für alle, die Modelle trainieren, große Batch-Workloads ausführen, multimodale Eingänge verarbeiten oder mit Modellen mit mehr als 100B-Parametern arbeiten, bleiben GPUs die einzige praktische Option. Die Speicherbeschränkungen der LPU sind nicht etwas, das ein Software-Update beheben kann - sie werden in das Silizium eingebrannt.

Das intelligenteste Setup, das ich in der Produktion gesehen habe, verwendet LPUs für die Dekodierungsphase und GPUs für die Prefill- und Batchverarbeitung. Dieser hybride Ansatz bringt Ihnen den Geschwindigkeitsvorteil der LPU, wo es am wichtigsten ist - die Reaktion des Benutzers -, während die GPU-Ökonomie für alles andere erhalten bleibt.

Eines wünschte ich mir, jemand hätte es mir früher gesagt: Groq Clouds API ist kein Drop-in-Ersatz für OpenAI-kompatible Endpunkte. Das SDK hat seine eigenen Macken - Streaming verhält sich anders, das Zählen von Token ist nicht immer genau und die Fehlerbehandlung ist weniger anmutig. Budget zusätzliche Integrationszeit, wenn Sie von einem GPU-basierten Inferenzanbieter migrieren.

FAQ

Kann Groq LPUs trainieren KI-Modelle?

Nein. Die LPU-Architektur ist ausschließlich für Inferenz konzipiert. Es kann keine Backpropagation oder Gewichtsaktualisierungen durchführen. Training und Feinabstimmung erfordern GPUs oder TPUs.

Ist Groq Cloud billiger als GPU-Cloud-Anbieter?

Das hängt von der Modellgröße ab. für Modelle der 70B-Klasse, Groq ist wettbewerbsfähig preislich. Für kleinere 7-8B-Modelle sind GPU-Anbieter wie OpenRouter oft billiger. Der wahre Wert der LPU ist Latenz, nicht Kosten.

Auf welchen Modellen kann man laufen Groq LPUs?

Llama 3 (8B, 70B), Mixtral 8x7B und eine wachsende Liste von Modellen mit offenem Gewicht. Modelle müssen für die deterministische Architektur der LPU kompiliert werden, indem Groq's Compiler. Sehr große Modelle (100B+) und die meisten multimodalen Modelle werden nicht unterstützt.

Ändert die Übernahme von Groq IP durch NVIDIA etwas für LPU-Benutzer?

Nicht sofort. Groq arbeitet weiterhin unabhängig und verkauft LPU-Cloud-Zugang. Mittelfristig wird NVIDIA wahrscheinlich LPU-artige Technologie in zukünftige GPU-Architekturen integrieren, was die eigenständige LPU weniger relevant machen könnte.

Nächster Schritt: Wählen Sie die richtige Inference Hardware

Für Echtzeit-Chatbot-Anwendungen, Groq LPUs bieten eine unübertroffene Geschwindigkeit. Für Trainings- oder Batch-Workloads bleiben Sie bei GPUs. Weitere KI-Infrastrukturvergleiche in Unser KI-Verzeichnis.