Latenz
Die Zeit zwischen Anfrage und Antwort — bei KI-Diensten ein entscheidendes Maß für die Nutzererfahrung.
Latenz ist die Verzögerung zwischen dem Absenden einer Anfrage und dem Eintreffen der Antwort, gemessen in Millisekunden. Bei interaktiven KI-Anwendungen entscheidet sie darüber, ob sich ein Dienst flüssig oder träge anfühlt.
On-Premise-Betrieb hat hier einen strukturellen Vorteil: Wenn die Inferenz im eigenen Netz stattfindet, entfällt der Umweg über das öffentliche Internet zu einem entfernten Anbieter. In Quintas Benchmark lag die Latenz bei rund 56 ms — auch unter Last mit 512 gleichzeitigen Anfragen.
Wichtig ist die Latenz unter Last, nicht im Leerlauf: Ein System, das einzeln schnell antwortet, aber unter vielen parallelen Anfragen einbricht, ist im Produktivbetrieb wenig wert. Genau hier zahlt die Betriebsschicht ein.