Durchsatz
Die Menge an Anfragen, die ein System in einer bestimmten Zeit erfolgreich verarbeitet — das Maß für Skalierbarkeit unter Last.
Durchsatz (Throughput) misst, wie viele Anfragen ein System pro Zeiteinheit erfolgreich bewältigt. Während Latenz die Geschwindigkeit einer einzelnen Antwort beschreibt, beschreibt Durchsatz die Kapazität für viele gleichzeitige Anfragen.
Der entscheidende Punkt ist das Wort „erfolgreich“: Ein Server kann viele Anfragen annehmen und trotzdem einen großen Teil davon unter Last verlieren. In Quintas Benchmark verarbeitete das Quinta-Gateway bei 31.200 Anfragen und 512 gleichzeitigen Verbindungen eine 18× höhere Erfolgsquote als vLLM pur.
Hoher Durchsatz bei gleichbleibend niedriger Latenz ist das Ziel — und er entsteht nicht durch mehr Rohleistung allein, sondern durch geordnete Zulassungssteuerung (Bounded Admission).