Quinta-Gateway
Die Betriebsschicht vor der Inferenz-Engine: Sie steuert Zugriff, Warteschlange und Orchestrierung und macht aus einer nackten Engine einen belastbaren Dienst.
Das Quinta-Gateway sitzt zwischen den Anwendungen und der Inferenz-Engine (etwa vLLM). Es übernimmt genau die Aufgaben, die eine reine Engine nicht leistet: Zugriffskontrolle, Zulassungssteuerung (Bounded Admission), Orchestrierung mehrerer Knoten und die Protokollierung für Audit-Zwecke.
Im Benchmark zeigt sich der Wert dieser Schicht: Bei 31.200 Anfragen und 512 gleichzeitigen Verbindungen erreichte das Quinta-Gateway eine 18× höhere Erfolgsquote als vLLM pur, bei einer Latenz von rund 56 ms — auf einer NVIDIA DGX Spark mit 128 GB. Die Engine war in beiden Fällen dieselbe; den Unterschied macht die Betriebsschicht.
So wird aus einem Modell, das „im Prinzip läuft“, ein Dienst, der unter realer Last vorhersehbar bleibt — die Voraussetzung für den produktiven Einsatz in einer Organisation.