Inferenz
Der Vorgang, bei dem ein trainiertes KI-Modell auf eine konkrete Anfrage antwortet — die eigentliche „Nutzung“ eines Modells.
Inferenz bezeichnet die Anwendung eines bereits trainierten Modells: Eine Anfrage geht hinein, das Modell berechnet eine Antwort. Im Gegensatz zum Training, das einmalig und sehr rechenintensiv ist, geschieht Inferenz millionenfach im laufenden Betrieb.
Weil jede Nutzung Inferenz ist, bestimmt sie die laufenden Kosten und die Latenz eines KI-Dienstes. Bei Cloud-Anbietern wird Inferenz pro Token abgerechnet; im Eigenbetrieb bestimmt die Auslastung der Hardware den Preis pro Anfrage.
Ein Inferenz-Server ist die Maschine, die diese Berechnungen ausführt — meist GPU-gestützt. Wie viele Anfragen er gleichzeitig stabil bewältigt, hängt weniger vom Modell als von der Betriebsschicht ab.