Gleiche Engine. 18× mehr Erfolg unter Last.
Wir haben denselben Inferenz-Server zweimal unter Extremlast gesetzt — einmal blank, einmal hinter dem Quinta-Gateway. Der Unterschied liegt nicht im Modell, sondern in der Betriebsschicht. Hier sind die Zahlen, der Aufbau und die ehrliche Einordnung.
Relative Darstellung der Erfolgsquoten (Quinta-Gateway = 18×, vLLM pur = 1×).
Warum kippt der blanke Server?
Ein Inferenz-Server ohne Zulassungssteuerung nimmt jede Anfrage sofort an — bis er sich unter zu vielen parallelen Anfragen selbst blockiert. Das Quinta-Gateway dosiert den Zufluss (bounded admission): Es lässt nur so viel gleichzeitige Arbeit zu, wie die Hardware stabil bewältigt. Der Rest wartet geordnet, statt in Timeouts zu kippen.
Tiefer einsteigen: Bounded Admission: warum ein Inferenz-Server unter Last kippt — oder kompakt im Glossar: Bounded Admission, Durchsatz.
So wurde gemessen
Beide Läufe nutzten dieselbe Inferenz-Engine auf derselben Maschine — der einzige Unterschied war die Betriebsschicht davor:
- Hardware
- NVIDIA DGX Spark, 128 GB
- Umfang
- 31.200 Requests, bis 512 gleichzeitige Anfragen
- Vergleich
- Quinta-Gateway vs. vLLM pur — identische Engine
- Konstante
- Identische Token-Rate pro Nutzer in beiden Läufen
- Kennzahl
- Erfolgsquote: Anteil der Anfragen mit gültiger Antwort
- Mehrkosten
- ~56 ms zusätzliche Erst-Latenz durch die Plattform-Schicht
Das ist eine interne Messung in einem definierten Lastszenario — keine unabhängige Zertifizierung. Ergebnisse hängen von Hardware, Modell und Lastprofil ab und lassen sich nicht 1:1 auf jede Umgebung übertragen. Deshalb gehen wir den Aufbau in der Demo im Detail durch — und messen auf Wunsch auf Ihrer eigenen Hardware nach.
Nachmessen statt glauben.
In der Demo zeigen wir den Messaufbau — und reproduzieren den Test gern auf Ihrer eigenen Hardware, mit Ihrem Lastprofil.