vLLM
Eine quelloffene Hochleistungs-Engine, die große Sprachmodelle effizient ausführt — die Engine, nicht die Betriebsschicht.
vLLM ist eine weit verbreitete Open-Source-Inferenz-Engine für große Sprachmodelle. Ihr Kern ist effizientes Speicher- und Batch-Management, das viele Anfragen zugleich verarbeiten kann. Sie beantwortet die Frage „Wie führe ich ein Modell schnell aus?“.
Was vLLM allein nicht beantwortet: Wer darf zugreifen? Was passiert bei Überlast? Wie werden mehrere Knoten orchestriert und Zugriffe protokolliert? Das sind Betriebsfragen — und genau dort setzt eine Schicht wie das Quinta-Gateway an.
In Quintas Benchmark läuft in beiden Varianten dieselbe Engine. „vLLM pur“ steht dabei für den Betrieb ohne Zulassungssteuerung; der Vergleich zeigt, wie viel die Betriebsschicht darüber hinaus beiträgt.